Testing 解决方案相关性-如何对搜索质量进行A/B测试？

我希望执行实时A/B和受控并排实验，以帮助了解变化如何影响搜索质量。我将测试变量，比如boostvalue和fuzzyquerys

其他哪些指标用于确定用户是否喜欢A和B？以下是我在网上找到的两个指标

• 在Google Analytics中，“%搜索出口”是一个可用于 衡量网站搜索结果的质量

• 衡量搜索质量的另一种方法是衡量 搜索结果页面显示访问者视图

---

搜索质量是不容易衡量的。为了衡量相关性，您需要具备以下几点：
• 衡量相关性的竞争者。对于您的情况，您的搜索引擎的不同实例将是彼此的竞争对手。我的意思是，一个搜索引擎实例将运行基本算法，另一个启用模糊，另一个同时启用模糊和boosting等等

• 您需要手动评估结果。你可以让你的同事对流行查询的查询/url对进行评级，然后对漏洞进行评级（即未评级的查询/url对）。通过使用“学习排名”算法，你可以拥有一些动态排名功能。不要对此感到惊讶，但这是真的（请阅读下面的Google/Bing示例）

谷歌和必应是横向搜索市场的竞争对手。这些搜索引擎在世界各地雇佣人工评判员，并投资数百万对他们的查询结果进行评分。因此，对于每个查询/url对，通常会对前3名或前5名的结果进行评分。根据这些评分，他们可能会使用NDCG等指标（标准化贴现累积增益），这是最好的度量之一，也是最流行的度量之一
:
贴现累积收益（DCG）是对Web搜索引擎>算法或相关应用程序的有效性的度量，通常用于信息检索。DCG使用搜索引擎结果集中文档的分级>相关性等级，根据文档在结果列表中的位置来度量文档的有用性>或增益。增益从结果顶部开始累加>在底部列出，每个结果的收益在>较低级别折扣
维基百科以一种很好的方式解释了NDCG。这是一篇短文，请仔细阅读
正如你所提到的，你也可以点击率/数据，其中你有一种群体算法的智慧，你可以在此基础上调整相关性。这是一个很好的解决方法，但它会吸引垃圾邮件。因此，它必须与一些指标相结合，如NDCG/地图等，以解决你的相关性问题
我可以提供更多的细节，如果你还需要知道更多关于如何把所有的东西放在一起工作在你的案例研究