推荐系统之常用的召回(match)算法

a flying bird

2172人浏览 · 2018-09-20 18:51:08

a flying bird · 2018-09-20 18:51:08 发布

MIND多兴趣召回实战（一）今天想和大家聊聊我们在MIND多兴趣召回上面的一些实战经验。https://mp.weixin.qq.com/s?__biz=MzIwNTE0NTgyMQ==&mid=2247484084&idx=1&sn=e6c7827f3d28f0135482d5c42d5a5bc6&chksm=97341106a043981046032e54d03532da9b628820d158a3577476e6cc24510e74a7bd9ca84547#rd

贝叶斯lift关联规则召回：关联规则X->Y的提升度（lift），又称为兴趣度（interest），即购买X对购买Y的作用

【机器学习】（5）：贝叶斯决策定理_windhawk_fly的博客-CSDN博客上一节我们介绍了监督学习的整体框架和基本的要点，按照总分的思考方式，接下来我们要分别介绍相应的一些算法了。今天这节我们来看看贝叶斯定理在机器学习中的应用。本章要点如下：1. 贝叶斯定理；2. 分类中的贝叶斯定理；3. 风险和效用度量；4. 关联规则；一、贝叶斯定理贝叶斯定理来源于统计学中的条件概率，它可以揭示两个变量间的对应关系，基本公式如下： https://blog.csdn.net/windhawk_fly/article/details/45028017

揭开Top-N 经典算法 SLIM 和 FISM 之谜（属于协同过滤方法中的一种）

SLIM[1]是Sparse Linear Model简称，即稀疏线性模型，该方法是基于物品相似度的推广形式，而且效果很好，如下面公式

揭开Top-N 经典算法 SLIM 和 FISM 之谜 - 知乎今天要介绍的是KDD13年的一篇论文《FISM:Factored Item Similarity Models for Top-N Recommender Systems》属于 top-N 推荐算法中的经典方法，也作为下次要分享的 SVD++ 的一个过渡。该论文也属于传统算法中协…https://zhuanlan.zhihu.com/p/74978160?utm_source=wechat_session

ANN召回算法之IVFPQ(千亿数据场景召回方法)

ANN召回算法之IVFPQ - 知乎ANN(Approximate Nearest Neighbor)，顾名思义，找出大致相近的结果。个性化推荐系统中，常见的流程为召回->粗排->精排->重排四阶段。当前的召回阶段通常为向量化召回，即一切皆用embedding来表示。举…https://zhuanlan.zhihu.com/p/378725270

【surprise算法包4】基于协同过滤的基础推荐算法 - 知乎Surpise包之协同过滤一． CoClustering这是一个基于聚类的协同过滤算法，该算法是根据文献【1】来实现的。该算法的主要思想是分别将user和item进行分类（类似分桶），然后根据类中心来进行预测。其预测函数如下：…https://zhuanlan.zhihu.com/p/88931109

一、协同过滤

1.1 User-CF与Item-CF的比较

1.2 基于共现的协同过滤算法

二、LoglikelihoodRatio算法

三、Embedding表示召回

四、相关参考

常用的召回算法主要有user/item/model-based CF，Content- based，Demographic-based、DNN-Embedding-based等等，做粗排之后交由后⾯的Rank层做更精细的排序，最终展现TopK item。其适用场景也较多，如"猜你喜欢","多样推荐","相似推荐","看了还看","搭配推荐","买了还买"。以电商场景为例，比如商品详细页可以采用相似度基于物品的推荐（tem-CF），同时基于商品的相似度召回，可以根据用户的历史商品，为用户召回相似的商品。本文将详细介绍一些常用的召回算法。

一、协同过滤

协同过滤推荐算法是一种非常有效的推荐算法，目前在各大互联网公司中使用极其普遍。其主要包括基于邻域的推荐算法和基于矩阵分解的推荐算法。基于邻域的推荐算法主要包括基于用户的协同过滤算法和基于物品的协同过滤算法。基于矩阵分解的推荐算法的核心思想是构建一个用户商品评分矩阵，通过已有的用户商品评分估计未知的用户商品评分，得到每一个用户对所有商品的评分，根据评分对用户进行推荐，其主要包括基于最小二乘法矩阵分解的推荐算法和基于随机梯度下降矩阵分解的推荐算法。

1.1 User-CF与Item-CF的比较

User-CF：通常用户挖掘具有共同兴趣的小团体，通常新颖性会比较好，但是准确性会比较差。

Item-CF：侧重于挖掘Item之间的关系，根据用户的历史行为来为用户生成推荐列表。

通常Item-CF比User-CF适用范围更广，下表为二者的对比关系。

1.2 基于共现的协同过滤算法

1.3 surprise算法

这是迄今为止非常简单且有效的一种完全基于统计的协同过滤算法

二、LoglikelihoodRatio算法

如何来解释这个相似度的计算方式呢？我们先来看看行熵、列熵和矩阵熵分别代表什么含义：行熵以用户 A 的偏好和非偏好来划分商品空间，很明显它是一个条件熵，我个人认为相对合理的解释是对于一个商品，在给定它是否属于 A 偏好的条件下，预测商品属于k11、k12、k21、k22四个空间中哪一个空间的不确定度；同理，列熵则代表给定商品是否属于 B 偏好的条件下，预测商品属于k11、k12、k21、k22四个空间中哪一个空间的不确定度；矩阵熵则表示在没有任何条件下，预测商品属于四个空间中哪一个空间的不确定度。我们以下图来看：

在给定 A 偏好与否的条件，预测商品属于哪一个空间的不确定度为S1+S2；在给定 B 偏好与否的条件下，不确定度为S2+S3；在不给定任何条件下，预测商品属于哪一个空间的不确定度为S1+S2+S3。我的理解这个S2S2表示的就是给定 A、B 偏好条件下的公共的不确定度，其表达的就是如果 A 喜欢某个商品，对 B 也具有协同效应；如果 B 喜欢某个商品，对 A 也具有协同效应，这种公共不确定度或者说是关联其实反映的就是 A 用户与 B 用户的相似程度。由于前面计算熵的时候没有加上负号，步骤四中正好得到一个(−S2)，就变成正数了，至于为什么乘上 2 及1N1N去哪里了我也不清楚，但这只是一种幅度变换，不影响相对关系。