导图社区 Hadoop安装与伪分布式配置

Hadoop安装与伪分布式配置

Hadoop安装与伪分布式配置思维导图，包括虚拟机安装、文件下载、创建Hadoop账户、Ubuntu下安装JDK、Ubuntu安装Hadoop、Hadoop伪分布式配置等。

编辑于2021-11-29 23:50:42

Hadoop安装
伪分布式配置

嗷呜～

他的近期作品查看更多>>

hadoop伪分布式搭建
这是一个关于hadoop伪分布式搭建的思维导图，分支内容包括：虚拟机安装、文件下载、创建Hadoop账户、Ubuntu下安装JDK等。
Hadoop安装与伪分布式配置
Hadoop安装与伪分布式配置思维导图，包括虚拟机安装、文件下载、创建Hadoop账户、Ubuntu下安装JDK、Ubuntu安装Hadoop、Hadoop伪分布式配置等。

Hadoop安装与伪分布式配置

社区模板帮助中心，点此进入>>

嗷呜～

他的近期作品查看更多>>

相似推荐
大纲

互联网9大思维
- 38.2k
- 971
- 2.4k
- 402
- 0
MindMaster
组织架构-单商户商城webAPP 思维导图。
- 17.3k
- 3
- 186
- 9
- 1
Kacyun
域控上线
- 3.5k
- 169
- 11
- 4
- 0
jackrao
python思维导图
- 8.2k
- 551
- 242
- 7
- 0
(*^▽^*)
css
- 3.0k
- 1
- 43
- 3
- 0
A张舫
CSS
- 5.3k
- 271
- 189
- 33
- 0
journey
计算机操作系统思维导图
- 6.8k
- 353
- 208
- 16
- 0
journey
计算机组成原理
- 3.3k
- 98
- 70
- 8
- 0
journey
IMX6UL(A7)
- 2.0k
- 41
- 5
- 0
- 0
Handler XU
考试学情分析系统
- 2.7k
- 51
- 10
- 1
- 0
蒋龙

Hadoop安装与伪分布搭建

虚拟机安装

文件下载

JDK下载

Hadoop下载

创建Hadoop账户

创建Hadoop用户组

sudo addgroup hadoop

创建Hadoop用户

sudo adduser -ingroup hadoop hadoop

安装vim

sudo apt install vim

给Hadoop用户权限

sudo vim /etc/sudoers

在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL

Ubuntu下安装JDK

上传JDK文件

上传虚拟机拖到桌面

安装ssh服务

sudo apt-get install ssh openssh-server

ssh无密码登录配置

切换用户

su hadoop

追加授权文件

1. cd ~/.ssh

ssh-keygen -t rsa -P ""

2. cat id_rsa.pub> > authorized_keys

登录localhost

ssh localhost

退出

exit

JDK解压

创建安装目录

sudo mkdir /usr/lib/jvm

JDK解压缩

中文界面的Ubuntu

sudo tar -zxvf /home/(自己的用户名)/Desktop/jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm

英文界面的Ubuntu

子主题

sudo tar -zxvf /home/(自己的用户名)/桌面/jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm

JDK环境配置

vim打开环境变量文件

sudo vim /etc/profile

修改文件

在文件最后添加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

测试是否成功

java -version

出现 java version "1.8.0_202" 即为成功

Ubuntu安装Hadoop

Hadoop解压

创建安装目录

mkdir /usr/local/hadoop

Hadoop解压缩

中文界面的Ubuntu

sudo tar -zxvf /home/(自己的用户名)/Desktop/hadoop-3.3.1.tar.gz -C /usr/local/hadoop

英文界面的Ubuntu

子主题

sudo tar -zxvf /home/(自己的用户名)/桌面/hadoop-3.3.1.tar.gz -C /usr/local/hadoop

Hadoop环境变量配置

vim打开环境变量文件

sudo vim /etc/profile

修改文件

在文件最后添加

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.1 export PATH=$HADOOP_HOME/bin:$PATH

使环境变量生效

source /etc/profile

测试是否成功

hadoop version

出现 Hadoop 3.3.1 即为成功

Hadoop伪分布式配置

Hadoop环境变量设置

切换hadoop用户

su hadoop

打开环境变量文件

sudo vim ~/.bashrc

修改环境变量文件

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.1 export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使修改生效

source ~/.bashrc

Hadoop配置文件修改

打开hadoop配置文件夹

cd /usr/local/hadoop/hadoop-3.3.1/etc/hadoop/

修改配置文件 core-site.xml

chmod 777 core-site.xml

sudo vim core-site.xml

<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

修改配置文件 hdfs-site.xml

chmod 777 hdfs-site.xml

sudo vim hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop-3.3.1/tmp/dfs/data</value> </property> <property> <name>dfs.secondary.http.address</name>  <value>dfs://localhost:50070</value> </property> </configuration>

修改配置文件 hadoop-env.sh

sudo vim hadoop-env.sh

把#export JAVA=下面一行加入 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202

修改配置 mapred-site.xml

chmod 777 mapred-site.xml

sudo vim mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker.http.address</name> <value>0.0.0.0:50030</value> </property> <property> <name>mapred.task.tracker.http.address</name> <value>0.0.0.0:50060</value> </property> <property> <name>mapreduce.admin.user.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value> </property> </configuration>

配置yarn-site.xml

chmod 777 yarn-site.xml

sudo vim yarn-site.xml

<configuration>  <property> <name>yarn.resourcemanager.hostname</name>  <value>hdfs://localhost:9000</value> </property>  <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

启动Hadoop

到Hadoop文件夹

cd /usr/local/hadoop/hadoop-3.3.1/sbin/

初始化化hadoop文件格式

hadoop namenode -format

启动所有进程

./start-all.sh

也可以使用“ start-dfs.sh ”开启 NaneNode 和 DataNode 守护进程

./start-dfs.sh

验证

输入 jps