hadoop伪分布式搭建

这是一个关于hadoop伪分布式搭建的思维导图，分支内容包括：虚拟机安装、文件下载、创建Hadoop账户、Ubuntu下安装JDK等。

Hadoop安装与伪分布搭建

• 虚拟机安装
• 文件下载
  • JDK下载
    • https://download.oracle.com/otn/java/jdk/8u202-b08/1961070e4c9b4e26a04e7f5a083f551e/jdk-8u202-linux-x64.tar.gz?AuthParam=1638191711_fc00ef3f29e8fd3e6b7963a1b61cbfd5
  • Hadoop下载
    • http://archive.apache.org/dist/hadoop/core/hadoop-3.3.1/hadoop-3.3.1.tar.gz
• 创建Hadoop账户
  • 创建Hadoop用户组
    • sudo addgroup hadoop
  • 创建Hadoop用户
    • sudo adduser -ingroup hadoop hadoop
  • 安装vim
    • sudo apt install vim
  • 给Hadoop用户权限
    • sudo vim /etc/sudoers
    • 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL
• Ubuntu下安装JDK
  • 上传JDK文件
    • 上传虚拟机拖到桌面
  • 安装ssh服务
    • sudo apt-get install ssh openssh-server
  • ssh无密码登录配置
    • 切换用户
      • su hadoop
    • 追加授权文件
      • 1. cd ~/.ssh
        • ssh-keygen -t rsa -P ""
      • 2. cat id_rsa.pub> > authorized_keys
    • 登录localhost
      • ssh localhost
    • 退出
      • exit
  • JDK解压
    • 创建安装目录
      • sudo mkdir /usr/lib/jvm
    • JDK解压缩
      • 中文界面的Ubuntu
        • sudo tar -zxvf /home/(自己的用户名)/Desktop/jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm
      • 英文界面的Ubuntu
        • 子主题
          • sudo tar -zxvf /home/(自己的用户名)/桌面/jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm
  • JDK环境配置
    • vim打开环境变量文件
      • sudo vim /etc/profile
    • 修改文件
      • 在文件最后添加
        • export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
    • 使环境变量生效
      • source /etc/profile
    • 测试是否成功
      • java -version
      • 出现 java version "1.8.0_202" 即为成功
• Ubuntu安装Hadoop
  • Hadoop解压
    • 创建安装目录
      • mkdir /usr/local/hadoop
    • Hadoop解压缩
      • 中文界面的Ubuntu
        • sudo tar -zxvf /home/(自己的用户名)/Desktop/hadoop-3.3.1.tar.gz -C /usr/local/hadoop
      • 英文界面的Ubuntu
        • 子主题
          • sudo tar -zxvf /home/(自己的用户名)/桌面/hadoop-3.3.1.tar.gz -C /usr/local/hadoop
  • Hadoop环境变量配置
    • vim打开环境变量文件
      • sudo vim /etc/profile
    • 修改文件
      • 在文件最后添加
        • export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.1 export PATH=$HADOOP_HOME/bin:$PATH
    • 使环境变量生效
      • source /etc/profile
    • 测试是否成功
      • hadoop version
      • 出现 Hadoop 3.3.1 即为成功
• Hadoop伪分布式配置
  • Hadoop环境变量设置
    • 切换hadoop用户
      • su hadoop
    • 打开环境变量文件
      • sudo vim ~/.bashrc
    • 修改环境变量文件
      • export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.1 export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    • 使修改生效
      • source ~/.bashrc
  • Hadoop配置文件修改
    • 打开hadoop配置文件夹
      • cd /usr/local/hadoop/hadoop-3.3.1/etc/hadoop/
    • 修改配置文件 core-site.xml
      • chmod 777 core-site.xml
      • sudo vim core-site.xml
      • <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
    • 修改配置文件 hdfs-site.xml
      • chmod 777 hdfs-site.xml
      • sudo vim hdfs-site.xml
      • <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp/dfs/data</value> </property> <property> <name>dfs.secondary.http.address</name> <!--这里是你自己的ip，端口默认--> <value>dfs://localhost:50070</value> </property> </configuration>
    • 修改配置文件 hadoop-env.sh
      • sudo vim hadoop-env.sh
      • 把#export JAVA=下面一行加入 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202
    • 修改配置 mapred-site.xml
      • chmod 777 mapred-site.xml
      • sudo vim mapred-site.xml
      • <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker.http.address</name> <value>0.0.0.0:50030</value> </property> <property> <name>mapred.task.tracker.http.address</name> <value>0.0.0.0:50060</value> </property> <property> <name>mapreduce.admin.user.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value> </property> </configuration>
    • 配置yarn-site.xml
      • chmod 777 yarn-site.xml
      • sudo vim yarn-site.xml
      • <configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <!-- 自己的ip端口默认 --> <value>hdfs://localhost:9000</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
• 启动Hadoop
  • 到Hadoop文件夹
    • cd /usr/local/hadoop/hadoop-3.3.1/sbin/
  • 初始化化hadoop文件格式
    • hadoop namenode -format
  • 启动所有进程
    • ./start-all.sh
    • 也可以使用“ start-dfs.sh ”开启 NaneNode 和 DataNode 守护进程
      • ./start-dfs.sh
  • 验证
    • 输入 jps