导图社区 hadoop伪分布式搭建
这是一个关于hadoop伪分布式搭建的思维导图,分支内容包括:虚拟机安装、文件下载、创建Hadoop账户、Ubuntu下安装JDK等。
编辑于2022-04-19 00:30:51Hadoop安装与伪分布搭建
虚拟机安装
文件下载
JDK下载
https://download.oracle.com/otn/java/jdk/8u202-b08/1961070e4c9b4e26a04e7f5a083f551e/jdk-8u202-linux-x64.tar.gz?AuthParam=1638191711_fc00ef3f29e8fd3e6b7963a1b61cbfd5
Hadoop下载
http://archive.apache.org/dist/hadoop/core/hadoop-3.3.1/hadoop-3.3.1.tar.gz
创建Hadoop账户
创建Hadoop用户组
sudo addgroup hadoop
创建Hadoop用户
sudo adduser -ingroup hadoop hadoop
安装vim
sudo apt install vim
给Hadoop用户权限
sudo vim /etc/sudoers
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL
Ubuntu下安装JDK
上传JDK文件
上传虚拟机拖到桌面
安装ssh服务
sudo apt-get install ssh openssh-server
ssh无密码登录配置
切换用户
su hadoop
追加授权文件
1. cd ~/.ssh
ssh-keygen -t rsa -P ""
2. cat id_rsa.pub> > authorized_keys
登录localhost
ssh localhost
退出
exit
JDK解压
创建安装目录
sudo mkdir /usr/lib/jvm
JDK解压缩
中文界面的Ubuntu
sudo tar -zxvf /home/(自己的用户名)/Desktop/jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm
英文界面的Ubuntu
子主题
sudo tar -zxvf /home/(自己的用户名)/桌面/jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm
JDK环境配置
vim打开环境变量文件
sudo vim /etc/profile
修改文件
在文件最后添加
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
使环境变量生效
source /etc/profile
测试是否成功
java -version
出现 java version "1.8.0_202" 即为成功
Ubuntu安装Hadoop
Hadoop解压
创建安装目录
mkdir /usr/local/hadoop
Hadoop解压缩
中文界面的Ubuntu
sudo tar -zxvf /home/(自己的用户名)/Desktop/hadoop-3.3.1.tar.gz -C /usr/local/hadoop
英文界面的Ubuntu
子主题
sudo tar -zxvf /home/(自己的用户名)/桌面/hadoop-3.3.1.tar.gz -C /usr/local/hadoop
Hadoop环境变量配置
vim打开环境变量文件
sudo vim /etc/profile
修改文件
在文件最后添加
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.1 export PATH=$HADOOP_HOME/bin:$PATH
使环境变量生效
source /etc/profile
测试是否成功
hadoop version
出现 Hadoop 3.3.1 即为成功
Hadoop伪分布式配置
Hadoop环境变量设置
切换hadoop用户
su hadoop
打开环境变量文件
sudo vim ~/.bashrc
修改环境变量文件
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.1 export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使修改生效
source ~/.bashrc
Hadoop配置文件修改
打开hadoop配置文件夹
cd /usr/local/hadoop/hadoop-3.3.1/etc/hadoop/
修改配置文件 core-site.xml
chmod 777 core-site.xml
sudo vim core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
修改配置文件 hdfs-site.xml
chmod 777 hdfs-site.xml
sudo vim hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp/dfs/data</value> </property> <property> <name>dfs.secondary.http.address</name> <!--这里是你自己的ip,端口默认--> <value>dfs://localhost:50070</value> </property> </configuration>
修改配置文件 hadoop-env.sh
sudo vim hadoop-env.sh
把#export JAVA=下面一行加入 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202
修改配置 mapred-site.xml
chmod 777 mapred-site.xml
sudo vim mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker.http.address</name> <value>0.0.0.0:50030</value> </property> <property> <name>mapred.task.tracker.http.address</name> <value>0.0.0.0:50060</value> </property> <property> <name>mapreduce.admin.user.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value> </property> </configuration>
配置yarn-site.xml
chmod 777 yarn-site.xml
sudo vim yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <!-- 自己的ip端口默认 --> <value>hdfs://localhost:9000</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
启动Hadoop
到Hadoop文件夹
cd /usr/local/hadoop/hadoop-3.3.1/sbin/
初始化化hadoop文件格式
hadoop namenode -format
启动所有进程
./start-all.sh
也可以使用“ start-dfs.sh ”开启 NaneNode 和 DataNode 守护进程
./start-dfs.sh
验证
输入 jps