1.吃透论文——推荐算法不可不看的推荐DeepFM模型
2.推荐系统之矩阵分解模型-原理篇
3.深度语义匹配模型DSSM及其变体CNN-DSSM, LSTM-DSSM
4.推荐算法之7——DeepFM模型
5.经典推荐算法AE， DAE，算法CDAE
6.超全啊！模型码7种经典推荐算法模型的源码有推应用

吃透论文——推荐算法不可不看的DeepFM模型

       本文解析推荐广告领域重要论文，题目为：DeepFM: A Factorization-Machine based Neural Network for CTR Prediction。荐算作者来自哈工大与华为，法模傲世易支付源码论文研究基于深度神经网络的型源FM模型在CTR预测中的应用。

       核心创新在于结合FM与神经网络的类型优势，与同行广为接受的推荐Wide & Deep模型相比，DeepFM提升了CTR预测精度，算法且免去繁复的模型码特征工程。此论文关注点在于高效建模特征间的源码有推交叉信息，以提升模型性能。荐算

       在推荐系统中，法模准确预估用户与商品间的型源交互（CTR）是核心挑战之一。常规做法涉及四种特征：用户特征、商品特征、上下文特征与实时行为。这些特征组合共同决定用户兴趣，但其中的交叉信息难以直观理解。DeepFM通过深度学习模型与FM结合，有效地捕捉特征间的低维与高维交叉关系，从而提升预测精度。

       挑战在于如何高效处理隐式交叉信息，DeepFM通过特定设计，将FM模块与深度学习模块整合，避免了特征工程繁琐步骤，通过模型自动学习特征间复杂关联。此外，论文比较了与同行工作的差异，指出其在低维高维特征交叉与特征学习上的优势。

       模型设计方面，DeepFM包含两部分：FM层与深度神经网络层。FM层以因子分解机为基础，用于计算特征交叉影响；深度神经网络层则用于学习更为复杂的特征交互。整体结构设计旨在平衡计算效率与预测准确性。activity启动流程源码

       实验部分，作者采用Criteo数据集与华为内部数据集进行模型性能评估。结果显示，在多项性能指标下，DeepFM均展现出优于同类模型的竞争力，尤其在CTR预估性能上显著领先。

       综合考量，DeepFM模型以其高效学习特征间交叉信息的优势，显著提升CTR预测性能。至今，这一模型依旧在行业广泛应用，表明其在推荐系统领域的卓越贡献与价值。深入理解DeepFM模型对于推荐领域研究与实践具有重要意义。

推荐系统之矩阵分解模型-原理篇

       矩阵分解模型，作为推荐系统的核心算法之一，旨在通过用户行为数据来挖掘用户喜好和物品特征，从而实现个性化推荐。本文深入探讨了矩阵分解的数学原理，包括显式矩阵分解与隐式矩阵分解的差异与实现细节。

       矩阵分解模型在处理用户-物品评分数据时，可以分为显式数据和隐式数据两种类型。显式数据通常指的是用户对物品的评分，如**评分、商品评价等，而隐式数据则包括浏览、点击、购买、收藏等行为数据，这些数据虽未直接体现用户喜好程度，但通过用户的行为强度可以间接反映其兴趣。

       显式矩阵分解算法利用用户对物品的评分矩阵，通过最小化预测评分与实际评分的差异来学习用户向量和物品向量。目标函数是用户向量与物品向量内积的平方和与残差平方和的最小化，其中正则化项保证了模型的稳定性和防止过拟合。求解过程采用交替最小二乘法，andrion启动图源码通过固定一个矩阵优化另一个矩阵，直至收敛。在工程实现中，可以采用分布式并行计算，优化计算效率。

       与之相对，隐式矩阵分解算法通过拟合评分矩阵中的零值，即未评分或未直接评分的行为数据，以构建用户对物品的偏好模型。目标函数引入了行为强度与置信度的概念，通过优化用户向量与物品向量内积来拟合用户偏好与行为强度之间的关系。为了解决计算复杂度问题，隐式矩阵分解算法利用数学技巧简化计算过程，如对置信度矩阵进行分解，以降低计算复杂度。

       在处理新增用户时，增量矩阵分解算法能够在不重新计算所有用户向量的情况下，利用新用户的部分行为数据快速计算出新用户的向量，从而实现实时推荐。这一算法简化了推荐过程，提高了系统响应速度。

       矩阵分解模型不仅能够准确预测用户对物品的喜好程度，还能提供可解释的推荐理由，增强用户信任度。算法的可解释性，使得推荐过程不仅基于数据，还能从用户行为的角度提供合理解释，提升了用户体验。

       综上所述，矩阵分解模型通过数学原理和算法优化，实现了个性化推荐，满足了现代推荐系统的需求。未来，随着深度学习等技术的发展，矩阵分解模型将在推荐系统中发挥更重要作用。快手互推大厅源码

深度语义匹配模型DSSM及其变体CNN-DSSM, LSTM-DSSM

       在研究推荐和排序算法的过程中，DSSM（深度结构语义模型）是不可或缺的一部分。本文将详细介绍DSSM及其变体CNN-DSSM和LSTM-DSSM。

       论文链接：microsoft.com/en-us/res...

       源码：github.com/baharefatemi...

       简介

       现代搜索引擎在检索文章时，通常将文章中的关键字与query中的内容进行比较。然而，这种做法存在一个问题，即文字具有多义性，同样的含义可以用多种表达方式进行表达。因此，我们需要对query和document进行语义上的相似度匹配。

       通常，我们会使用隐语义模型LSA、LDA来衡量Query和Document之间的相似性。然而，由于LSA、LDA是无监督学习的模型，这些模型的效果并不符合预期。基于隐语义模型，有两种扩展：第一种是使用BLTM结合DPM来拟合query和document之间的关系，另一种方法是采用深度模型对query和document进行自编码，但这两种方法都是无监督的方法。

       本文针对搜索场景，提出了一系列深度网络语义模型（Deep Structured Semantic Models），模型的核心思想是：首先将query和document映射到同一个低维语义空间，然后通过cosine来计算query和document之间的距离。与之前的无监督学习模型不同，DSSM使用document的点击量进行训练，因此DSSM的效果要优于其他无监督模型。

       接下来，我们来看看DSSM是如何对query和document进行处理的。

       DSSM的结构采用DNN结构，将输入的query和document转换到低维的语义空间，然后计算他们的cosine相似度。

       语义特征计算部分，辅助源码怎么使用首先使用DNN网络将query和document从高维的空间转换到低维的空间。对输入的query和document假设他们是x，经过转换的向量为y，[公式]表示隐藏层，[公式]分别表示隐藏层的参数和偏置。

       最后一层采用tanh函数作为激活函数。最后将query和document映射到低维向量之后，我们采用cosine计算他们的相似度。

       为了解决query和document在第一层维度非常大的问题，本文提出了word hashing的方法，来对文本进行降维。做法就是使用n-gram来表示一个词语，例如good，我们把它拆分成trigram：go goo ood od。

       为了训练DSSM，我们需要得到query和他们对应的点击的document。作者假设如果用户点击了某个document，那么这个query和document就是相关的。因此，作者认为DSSM的目标是最大化给定query所对应的document的条件似然函数。条件似然函数的计算方式为：[公式]。其中，[公式]是平滑参数，D是针对query的所有可能相关的document集合，[公式]表示和query有关的且用户点击的document。

       有了以上的介绍，我们所要最大化的条件似然函数就是[公式]。因此，loss函数就是：[公式]。文中作者采用梯度下降法来最大化loss函数。

       作者收集了现实生活中用户搜索的日志作为实验的数据集，这份数据包含条用户query，平均每条query包含条url。每一个(query, document)的相关性分为5档，分别是0~4分，得分是人工评价的。模型的排序效果通过NDCG来衡量，这是推荐系统常见的评价指标，具体就是评价推荐给用户的内容是否是用户感兴趣的，而用户的阅读习惯一般是从上到下，所以我们希望将最相关的内容排在前面，然后以此类推。

       实验效果如下，其中：首先我们可以看出DSSM的效果优于其他模型，并且L-WH DNN的效果是最好的。

       DSSM是搜索里非常经典的一个算法，在工业界也广泛被使用。而且，根据应用场景的不同，对特征处理也会有一些区别。例如，在推荐召回模块的应用中，我们的输入可能就不再是query和doc的word embedding，而是用户和推荐的物品（例如**，商品）的特征。

       本文依然是由DSSM的作者提出，在语义特征计算部分采用CNN网络，网络结构如上图所示。在词向量的表达上依然采用了word hash（不知道为啥作者对word hash这么执着）。

       不过，trigram表示不能忽略了文本的上下文信息，因此作者在word trigram的基础上增加了letter trigram。在一定的窗口大小内，对该窗口内的word进行拼接就是letter trigram，例如I have an apple，可以被拼接为 # I have, I have an, ... 以此类推。

       然后以上表示经过卷积层，max-pooling，和全连接之后得到query和doc的低维向量。最后计算相似度的时候还是cosine距离。

       本文针对CNN-DSSM无法捕捉长文本的上下文信息的缺点，引入了LSTM。同时在LSTM的cell中加入了peehole，LSTM的cell结构如上图所示。

       与传统的LSTM不同，作者在遗忘门、输入门、输出门中都考虑了[公式]，总体来说考虑的信息更丰富。

推荐算法之7——DeepFM模型

       在推荐算法的研究中，DeepFM模型作为一种综合性的模型备受瞩目。其核心是结合了FM模型（Factorization Machines）的线性部分和深度神经网络（DNN）的非线性特性。FM部分的公式如下：

       FM公式：[公式]，[公式]

       其中，向量v代表特征的隐向量。与许多深度模型一样，DeepFM利用FM结构进行特征嵌入，每个特征通过one-hot编码表示，其隐向量[公式]由特征的权重矩阵[公式]决定。

       DeepFM的优势在于，FM部分的参数矩阵[公式]不仅在初始化时发挥作用，还会在训练过程中通过梯度下降进行调整，这使得其在表达能力上超越了基础的FM模型。DNN部分则采用全连接层，通过与FM和DNN的输出进行加权嵌入，公式为：

       最终输出：[公式]

       模型参数包括DNN的W矩阵和b向量、FM的v矩阵（表示二阶特性）以及一阶w参数。值得注意的是，Dense Embedding层在训练中不仅受到FM影响，还与Deep部分共同学习，形成一个动态的嵌入过程。

       DeepFM模型的预测结果由FM的线性和非线性部分（1阶和2阶特征）以及DNN的高阶特性（2阶以上）的综合得出，提供了更精准的用户行为预测。

经典推荐算法AE， DAE，CDAE

       介绍

       根据已有的用户对item的评分，来推荐下一个时间用户可能喜欢的items。

       Pre-processing

       只保存用户对item的评分为4或者5的，将这一类统一设置为1，其他所有的评分为1、2、3的或者unobserved全部设置为0。

       算法思想

       根据已有的用户和物品的浏览、评分记录，对每个用户做top_k推荐。

       模型图：

       不论是AE，DAE，CDAE模型图均是这样。

       3.1 AE

       如上图所示，模型的输入是用户的purchase_vec，用户对item评分高于3设置为1，其他设置为0，purchase_vec向量的长度是item数量，经过全连接层，到达隐藏层，隐藏层的节点数目是一个超参数，可调节，之后在经过全连接层到达输出层，输出层的节点数是item的数量，这就是整个的AE模型流程。

       3.2 DAE

       DAE和AE的差别在于DAE模型在将purchasec_vec向量输入到模型中时，进行了一个去噪的处理。

       流程：

       和pytorch中的dropout一样，可以用dropout进行去噪处理。

       3.3 CDAE

       CDAE和DAE的差别在于从输入层到隐藏层的过程中加入了用户的Embedding，仅此而已。

       模型代码：

       之后进行梯度下降更新即可，评估指标Pre@5，Rec@5。

超全啊！7种经典推荐算法模型的应用

       本文详细介绍了推荐系统中七种经典推荐算法模型的应用和原理，旨在帮助理解并应用于实际业务中。个性化推荐的核心是挖掘用户兴趣，通过LR、FM、FFM、WDL、DeepFM、DcN和xDeepFM等算法，模型分别解决了线性回归的局限性、考虑二阶特征的FM、FFM的field-aware特性、WDL的宽深结合、DeepFM的改进以及DCN和xDeepFM的特征交叉技术。

       LR以可解释性和高效性见长，用于预测用户行为概率；FM引入二阶特征，增强了模型的表达能力，但需处理大量参数；FFM通过field概念细化特征关系；WDL和DeepFM结合线性和深度学习，提高模型综合能力；DcN则完全去除人工特征交叉，而xDeepFM则引入vector-wise特征交叉，提升高阶特征学习。

       在实际应用中，算法的选择不仅考虑精度，还会权衡性能和部署的便利性，如双塔模型在推荐系统的广泛应用。个性化推荐系统的演进速度相对较慢，主要受限于应用场景的规模和复杂性。尽管如此，这些算法仍持续在推荐领域发挥关键作用，提供个性化服务。

Python和Django的基于协同过滤算法的**推荐系统源码及使用手册

       软件及版本

       以下为开发相关的技术和软件版本：

       服务端：Python 3.9

       Web框架：Django 4

       数据库：Sqlite / Mysql

       开发工具IDE：Pycharm

       **推荐系统算法的实现过程

       本系统采用用户的历史评分数据与**之间的相似度实现推荐算法。

       具体来说，这是基于协同过滤（Collaborative Filtering）的一种方法，具体使用的是基于项目的协同过滤。

       以下是系统推荐算法的实现步骤：

       1. 数据准备：首先，从数据库中获取所有用户的评分数据，存储在Myrating模型中，包含用户ID、**ID和评分。使用pandas库将这些数据转换为DataFrame。

       2. 构建评分矩阵：使用用户的评分数据构建评分矩阵，行代表用户，列代表**，矩阵中的元素表示用户对**的评分。

       3. 计算**相似度：计算**之间的相似度矩阵，通常通过皮尔逊相关系数（Pearson correlation coefficient）来衡量。

       4. 处理新用户：对于新用户，推荐一个默认**（ID为的**），创建初始评分记录。

       5. 生成推荐列表：计算其他用户的评分与当前用户的评分之间的相似度，使用这些相似度加权其他用户的评分，预测当前用户可能对未观看**的评分。

       6. 选择推荐**：从推荐列表中选择前部**作为推荐结果。

       7. 渲染推荐结果：将推荐的**列表传递给模板，并渲染成HTML页面展示给用户。

       系统功能模块

       主页**列表、**详情、**评分、**收藏、**推荐、注册、登录

       项目文件结构核心功能代码

       显示**详情评分及收藏功能视图、根据用户评分获取相似**、推荐**视图函数

       系统源码及运行手册

       下载并解压源文件后，使用Pycharm打开文件夹movie_recommender。

       在Pycharm中，按照以下步骤运行系统：

       1. 创建虚拟环境：在Pycharm的Terminal终端输入命令：python -m venv venv

       2. 进入虚拟环境：在Pycharm的Terminal终端输入命令：venv\Scripts\activate.bat

       3. 安装必须依赖包：在终端输入命令：pip install -r requirements.txt -i /simple

       4. 运行程序：直接运行程序（连接sqllite数据库）或连接MySQL。