Machine learning 如何评估具有相关顺序的建议系统？

我正在研究一个建议系统。对于给定的输入，系统输出N个建议

我们收集了用户喜欢什么建议的数据。例如：

input1 - output11 output12 output13
input2 - output21
input3 - output31 output32
...

我们现在想根据这些数据评估我们的系统。第一个指标是，如果这些输出出现在我们系统的建议中，这很容易

但是现在，我们想测试这些输出在建议中的位置有多好。我们希望给出的输出接近第一个建议

我们希望系统或每个输入都有一个分数

根据之前的数据，以下是100%的分数：

input1 - output11 output12 output13 other other other ...
input2 - output21 other    other    other other other ... 
input3 - output31 output32 other    other other other ...
...

（输出11输出12输出13的顺序不相关。重要的是，理想情况下，前三个建议中应该有三个）

我们可以给每个被建议占据的位置打分，或者计算从理想位置的位移，但我看不出一个好的方法来做到这一点

---

是否有一个现有的措施可以用于此

您需要一个名为的东西（这是信息检索的一个指标）

---

基本上，对于输出列表中的每个“真实”数据点，您可以计算精度（该点上方正确条目的精度/#该点上方的条目精度）。如果在输出列表中每个实际数据点的位置上平均此数字，则可以得到一个满足您需要的度量。

这太完美了。谢谢