词频统计

词频统计思维导图，展示了如何使用Hadoop进行大规模文本数据的词频统计，包括数据上传、任务调用、结果下载和后续处理等步骤。

词频统计

• 设计map和reduce函数处理
  • map函数：映射
    • 将文本约三十万单词进行键值对 化
  • reduce 函数：规约
    • 对相同单词的值相加，得到词频结果
  • 管道化命令： cat Questions1.txt | python map.py | sort | python reduce.py ＞Questions2.txt
• Hadoop自带wordcount词频统计
  • 将文本放置上传至HDFS
    • hdfs dfs -put Questions1.txt /input
  • 调用hadoop中jar wordcount函数， 结果放置新文件夹中。
    • hadoop jar /opt/hadoop/hadoop-3.3.1/share / hadoop /mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output
  • 将得到的结果下载至本地
    • hdfs dfs -get /output/part-r-00000
  • 对词频文件重命名
    • mv part-r-00000 questions2.csv