推荐引擎

这是一篇关于推荐引擎的思维导图，包含简介、推荐引擎的架构、推荐引擎需要关注的几个问题、推荐算法等。

推荐引擎-第一部分

• 简介
  • 目的：面对海量的数据信息（信息过载），从中快速推荐用户感兴趣的物品：
  • 思想：利用一定的规则将物品排序，展示给用户
  • 相似概念：搜索引擎
  • 搜索引擎与推荐引擎的对比：
• 推荐引擎的架构
  • 第一阶段：召回阶段：通过推荐算法从海量数据中挑选候选集
    • 推荐算法
      • 基于协同过滤的推荐
      • 基于内容的推荐
      • 基于模型的推荐
  • 第二阶段：排序阶段：按照推荐度对候选集的物品进行排序，得到topK列表
  • 第三阶段：评估阶段：根据CTR(点击率)评估topK列表中的物品
    • 说明：需要用户点击数据，结合GBDT+LR模型
  • 基于大数据架构的推荐架构图解：
• 推荐引擎需要关注的几个问题
  • 推荐引擎需要哪种数据？
    • 用户-物品评分数据(基于协同过滤的推荐算法)
    • 用户-物品评论数据/物品信息/用户信息(基于内容的推荐算法)
    • 物品点击数/物品收藏数(基于热门统计的推荐算法)
    • 推荐物品的点击/搜索/浏览/收藏数据(用于策略调整)
  • 推荐引擎如何评估？
    • 反馈数据：
    • RMSE：必须用户对推荐物品进行评分
    • 召回率
    • 精确率
    • 依据隐式反馈数据
    • 其他：
  • 推荐引擎如何更新优化？
    • 方法一：灰度发布
    • 方法二：AB测试
• 推荐算法
  • 个性化推荐算法
    • 基于协同过滤的推荐算法
      • 基于用户的协同过滤
        • 算法思想：跟你喜好相似的人，他喜欢的物品可能你也喜欢
        • 算法步骤
          • 第一步：构造用户-物品评分数据集或用户-物品购买数据集：
          • 第二步：计算用户-用户相似度矩阵
            • 距离
            • 余弦相似度
            • 皮尔逊相似度
            • 杰卡德相似度
            • 如图：
          • 第三步：根据相似用户进行物品推荐与过滤
            • 3.1寻找相似用户
            • 3.2物品推荐
            • 3.3过滤消费过的物品
            • 图解：
        • 适用场景：用户较少、物品较多
      • 基于物品的协同过滤
        • 算法思想：跟你喜欢的物品相似的新物品，你可能也喜欢
        • 算法步骤
          • 第一步：构造用户-物品评分数据集或用户-物品购买数据集：
          • 第二步：计算物品-物品相似度矩阵
            • 如图：
          • 第三步：根据相似物品进行物品推荐与过滤
            • 3.1寻找相似物品：
            • 3.2物品推荐
            • 3.2过滤消费过的物品
            • 图解：
        • 适用场景：用户较多，物品较少
      • 缺点：面对稀疏矩阵，效果极差
    • 基于模型的推荐算法(协同过滤的改进版)
      • 基于BaseLine的推荐算法
        • 算法思想：由于影响评分的因素为用户与物品，所以计算用户U对物品I的评分=评分均值+用户偏置+物品偏置
        • 算法步骤
          • 第一步：构造用户-物品评分矩阵：
          • 第二步：计算所有评分的均值
          • 第三步：初始化用户偏置、物品偏置
          • 第四步：构造损失函数=SSE+L2正则项：
          • 第五步：采用梯度下降算法或交替最小二乘法进行迭代优化，得到最佳用户偏置与物品偏置
      • 基于矩阵分解的推荐算法
        • 基于SVD奇异值矩阵分解(不适用推荐系统)
          • 算法思想：将一个稠密矩阵分解为3个矩阵
        • 基于LFM隐语义矩阵分解
          • 算法思想：将一个稀疏矩阵分解为两个稠密矩阵：
          • 算法步骤
            • 第一步：构造用户-物品评分矩阵
            • 第二步：初始化稠密矩阵p、稠密矩阵q
            • 第三步：构造损失函数<=>BaseLine的损失函数
            • 第四步：采用梯度下降算法或交替最小二乘法进行迭代优化，得到最佳矩阵p、q
      • 基于神经网络的推荐算法(探索阶段)
    • 基于内容的推荐算法
      • 算法思想：通过用户画像、物品画像进行匹配推荐
      • 几个概念
        • 用户画像(用户标签)
          • 构建方法(UGC)
            • 方法一：分析用户评论数据，提取标签
            • 方法二：根据用户喜好物品的特征，提取标签
            • 方法三：分析用户基本信息，提取标签
        • 物品画像(物品标签)
          • 构建方法(PGC)
            • 方法一：根据物品类别信息，提取标签
            • 方法二：根据物品标题信息，提取标签
      • 算法步骤
        • 第一步：构建用户画像与物品画像d
        • 第二步：通过匹配用户画像与物品画像，推荐新物品
      • 注意：画像构建过程涉及文本挖掘的算法
  • 非个性化推荐算法(热门统计推荐)