推荐算法

推荐算法知识点总结，包括推荐算法，项目架构，处理流程，语言插件几个模块的内容。希望对各位小伙伴有所帮助哦！

推荐系统

• 推荐算法
  • 基于机器学习的推荐算法
  • 基于内容的推荐算法
    • 用于：推荐内容相似的物品 内容相似对比获取 1.打标签（人工维护） 2.文本相似度（TF-IDF算法实现） 核心是：TF-IDF算法实现
    • TF-IDF算法： 提取关键词以及TFIDF值 奖共同关键词的TFIDF值的积并求和 获取相似度的值
    • 分类算法： 1.KNN算法 2.决策树算法 随机森林 XGBoost 3.线性分类算法 逻辑回归 SVM 4.朴素贝叶斯算法
  • 基于协同过滤的推荐算法
    • 基于用户的推荐
      • 基于用户的协同过滤：兴趣相近的用户会对同样的物品感兴趣
    • 基于物品的推荐
      • 基于物品的协同过滤：推荐给用户他们喜欢的物品相似的物品
    • 基于模型的推荐
      • 1 SVD/SVD++ 模型 2 基于概率矩阵分解(PMF) 3 隐语义模型(LFM)
      • SVD++是最流行的协同过滤模型，解决数据稀疏的问题
      • 基于概率矩阵分解PMF,解决SVD模型过于复杂的问题
      • Spark内置的推荐算法是基于隐语义模型的协同过滤 ALS算法
  • 基于关联规则的推荐算法
    • 1 Apriori的算法 是无监督学习算法 是挖掘一堆数据集中数据之间的某种关系 缺点：数据大，Apriori运行效率太低
    • 2 FP-Growth 关联分析算法 不产生候选集 只需要扫描两次数据集 数据集映射到一颗FP树上，再从这棵树挖掘频繁项集
• 项目架构
  • 数据采集层
    • Flume多层架构 Flume-Kafka-Storm Flume-Kafka-HDFS
  • 数据存储层
    • HDFS分布式文件系统 Hive用户行为日志数据库 Hbase存储推荐模型和历史推荐结果
  • 离线推荐层
    • Spark ALS 召回 Spark 基于物品协同过滤召回 基于GBDT+LR的排序
  • 在线推荐层
    • 写特征变量到HBase Storm实时解析用户行为 通过FTRL更新模型权重
• 处理流程
  • 离线流程
    • 第一步：Flume收集日志 第二步：日志存放与HDFS 第三步：日志清洗 第四步：清洗后存入Hive 第五步：数据离线挖掘
  • 实时流程
    • 第一步：Flume收集日志 第二步：Kafka流处理 第三步：Strom实时计算 第四步：召回，排序
• 插件
  • Hadoop 3.1.2
  • Hive 3.1.1
  • HBase 2.0.5
  • Flume 1.8.0
  • Spark 2.4.4
  • Storm 1.2.2
  • ZK 3.4.13
  • Kafka 2.12
• 语言
  • python
    • 算法实现使用语言
  • java
    • 业务实现使用语言
  • scala
    • 业务实现使用语言
• 推荐系统组成部分