C# 矩阵分解在推荐系统中的应用
我正在为餐馆开发一个推荐系统,使用C#6.0中基于项目的协作过滤器。我想把我的算法设置得尽可能好,所以我研究了一些不同的方法来预测用户还没有评论过的餐馆的评级 我将从我所做的研究开始 首先,我想使用用户之间的pearson关联来建立一个基于用户的协作过滤器,以便能够看到哪些用户能够很好地结合在一起。C# 矩阵分解在推荐系统中的应用,c#,algorithm,collaborative-filtering,matrix-factorization,C#,Algorithm,Collaborative Filtering,Matrix Factorization,我正在为餐馆开发一个推荐系统,使用C#6.0中基于项目的协作过滤器。我想把我的算法设置得尽可能好,所以我研究了一些不同的方法来预测用户还没有评论过的餐馆的评级 我将从我所做的研究开始 首先,我想使用用户之间的pearson关联来建立一个基于用户的协作过滤器,以便能够看到哪些用户能够很好地结合在一起。 这方面的主要问题是计算这种相关性所需的数据量。首先,在同一家餐厅中,每2名用户需要4条评论。但我的数据将非常稀少。不太可能有2个用户浏览了完全相同的4家餐厅。我想通过扩大匹配条件来解决这个问题(即不
这方面的主要问题是计算这种相关性所需的数据量。首先,在同一家餐厅中,每2名用户需要4条评论。但我的数据将非常稀少。不太可能有2个用户浏览了完全相同的4家餐厅。我想通过扩大匹配条件来解决这个问题(即不匹配同一餐厅的用户,但匹配同一类型餐厅的用户),但这给了我一个问题,即很难确定在关联中使用哪些评论,因为一个用户可能会在“快餐”类型的餐厅上留下3条评论。以下哪项最适合其他用户对快餐店的评论 经过更多的研究,我得出结论,基于项目的协作过滤器优于基于用户的协作过滤器。但是,我再次遇到了数据稀疏性问题。在我的测试中,我成功地计算出了一个用户尚未审核的餐馆的评级预测,但当我在稀疏数据集上使用该算法时,结果还不够好。(大多数情况下,两家餐厅之间不可能有相似之处,因为没有两位用户对同一家餐厅进行评级)。
经过更多的研究,我发现使用矩阵分解方法可以很好地处理稀疏数据 现在是我的问题了 我一直在互联网上寻找使用这种方法的教程,但我没有任何推荐系统的经验,我的代数知识也很有限。我理解这种方法的正确性。你有一个矩阵,其中一边是用户,另一边是餐馆。每个单元格都是用户对餐厅的评分。
矩阵分解方法创建了两个矩阵,一个是用户和餐厅类型之间的权重,另一个是餐厅和这些类型之间的权重 我只是不知道如何计算餐厅类型和餐厅/用户之间的权重(如果我正确理解矩阵分解)。我找到了几十个计算这些数字的公式,但我不知道如何将它们分解并应用到我的应用程序中 我将给出一个关于数据在我的应用程序中的外观的示例:
在本表中,U1代表用户,R1代表餐厅。 每个餐厅都有自己的标签(餐厅类型)。也就是说,R1的标签是“意大利”,R2的标签是“快餐”,等等
| R1 | R2 | R3 | R4 |
U1 | 3 | 1 | 2 | - |
U2 | - | 3 | 2 | 2 |
U3 | 5 | 4 | - | 4 |
U4 | - | - | 5 | - |
有没有人能为我指出正确的方向,或者解释我应该如何在我的数据上使用这种方法?任何帮助都将不胜感激 矩阵分解假设“潜在因素”,如用户对意大利食品的偏好和项目食品的意大利性,与矩阵中的评级有关 因此,整个问题转化为一个矩阵重构问题,对于这个问题,存在很多不同的解。一个简单的,可能很慢的解决方案是(除了ALS和一些其他可能的矩阵重建)使用梯度下降算法近似矩阵。我推荐这篇短文 提取潜在因素是另一个问题 因此,GDM的实现可能如下所示:
public void learnGDM(){
//traverse learnSet
for(int repeat = 0; repeat < this.steps; repeat++){
for (int i = 0; i < this.learnSet.length; i++){
for (int j = 0; j < this.learnSet[0].length; j++){
if(this.learnSet[i][j] > 0.0d){
double Rij = this.learnSet[i][j];
for(int f = 0 ; f <= latentFactors; f++){
double error = Rij - dotProduct(Q.getRow(i), P.getRow(j));/*estimated_Rij;*/
//ieee computer 1.pdf
double qif = Q.get(i, f);
double pif = P.get(j, f);
double Qvalue = qif + gradientGamma * (error * pif - gradientLambda * qif);
double Pvalue = pif + gradientGamma * (error * qif - gradientLambda * pif);
Q.set(i,f, Qvalue);
P.set(j, f, Pvalue);
}
}
}
}
//check global error
if(checkGlobalError() < 0.001d){
System.out.println("took" + repeat + "steps");
break;
}
}
public void learnGDM(){
//遍历学习集
for(int repeat=0;repeat0.0d){
double Rij=this.learnSet[i][j];
对于(int f=0;f)这种方法在某种程度上对我来说是可疑的…“不匹配同一餐馆的用户,但匹配同一类型餐馆的用户”听起来好像用户在给自己喜欢的食物评分。但情况可能并非如此,用户是在给餐厅提供预期食物的能力评分,如果你用麦当劳替代一家体面的汉堡餐厅,这种替代的结果可能不会比一家漂亮的随机的餐厅好。下一个电话(我想你想预测得更好吗?)。正确,这就是为什么我决定使用基于项目的协作过滤器,或者在我找到如何实施它时,可能使用矩阵分解。总体思路是用每个餐厅类型的评级替换每个餐厅缺少的评级。第一个矩阵平均餐厅的评级,第二个矩阵强调同一类型餐厅内部的差异rants。例如,如果餐厅A和B都是意大利人,并且唯一的现有用户将其评级为1和3,则第一个矩阵可以包含2,第二个矩阵可以包含0,5和1,5(这里我们使用单元格乘法)。如果有2个用户,则第二个矩阵以某种方式对restauranttype值进行平均,以便总体平均值保持不变。