CDH搭建

CDH平台的搭建，包含文件操作与yum相关、防火墙与安全相关设置、透明大页与系统参数相关、SSH 密钥配置、chrony时间同步服务配置、主节点软件安装与配置、制作yum源等。

CDH搭建

• 文件操作与yum相关
  • 将Centos-Base.repo重命名为CentOS-Base.repo（可能原文件名有大小写问题） mv Centos - Base.repo CentOS - Base.repo
  • 列出当前目录下的文件和文件夹 ls
  • 将CentOS - Base.repo文件移动到/etc/yum.repos.d/目录下，该目录用于存放yum源配置文件 mv CentOS - Base.repo /etc/yum.repos.d/
  • 列出yum仓库中的软件包列表，查看yum源配置情况 yum repolist
  • 使用vi编辑器编辑主机配置文件/etc/hosts vi /etc/hosts
  • 查看/etc/hosts文件内容，确认主机配置信息 cat /etc/hosts
  • 使用yum安装wget工具，-y表示自动回答yes确认安装 yum install wget -y
  • 使用yum安装net - tools工具包，包含网络相关的实用程序 yum install net - tools -y
• 防火墙与安全相关设置
  • 停止firewalld防火墙服务 systemctl stop firewalld
  • 禁止firewalld防火墙服务在系统启动时自动启动 systemctl disable firewalld
  • 设置SELinux为宽容模式（permissive），降低安全限制 setenforce 0
  • 使用vi编辑器编辑SELinux配置文件 vi /etc/selinux/config
• 透明大页与系统参数相关
  • 将透明大页（transparent_hugepage）的启用设置为never，优化系统性能 echo never > /sys/kernel/mm//transparent_hugepage/enabled
  • 将透明大页（transparent_hugepage）的碎片整理设置为never，优化系统性能 echo never > /sys/kernel/mm//transparent_hugepage/defrag
  • 使用vi编辑器编辑系统启动脚本/etc/rc.d/rc.local，将上述两条命令添加进去。 vi /etc/rc.d/rc.local
  • 使用vi编辑器编辑系统参数配置文件/etc/sysctl.conf vi /etc/sysctl.conf
  • 加载并应用/etc/sysctl.conf中的系统参数设置 sysctl -p
• SSH 密钥配置
  • 生成SSH密钥对，用于无密码登录等安全认证 ssh - keygen
  • 将本地公钥复制到nd1节点，实现免密码登录nd1 ssh - copy - id nd1
  • 使用SSH登录到其他节点（nd2、nd3) ssh nd2
  • 退出当前SSH连接 exit
• 修改主机名相关
  • 使用vi编辑器编辑主机名配置文件/etc/hostname，更改主机名，之后需要重启使新主机名生效。 主要更改nd2和nd3，然后进行重启。 vi /etc/hostname
• chrony时间同步服务配置
  • 使用vi编辑器编辑chrony时间同步服务的配置文件/etc/chrony.conf，添加时间服务器（这里添加了阿里云的ntp服务器和nd1节点作为时间源） vi /etc/chrony.conf（server ntp.aliyun.com iburst、server nd1 iburst）
  • 在三个节点上重启chronyd时间同步服务 systemctl restart chronyd
  • 在所有节点上查看时间同步源的信息（建议批量输入） chronyc sources
• 主节点软件安装与配置
  • 在主节点上安装createrepo工具，用于创建yum仓库的元数据 yum install createrepo -y
  • 在主节点上安装httpd服务（Apache Web服务器） yum install httpd -y
  • 在主节点上安装MariaDB数据库服务器 yum install mariadb - server -y
  • 启动httpd服务 systemctl start httpd
  • 查看httpd服务的状态 systemctl status httpd
  • 在主节点上安装unzip工具，用于解压文件 yum install unzip -y
  • 上传cdh 、cm、jdk、mysql
  • 列出主节点当前目录下的文件和文件夹 ls
  • 解压CDH安装文件 unzip cdh6.3.2.zip
  • 解压CM安装文件 unzip cm6.3.1.zip
  • 再次列出当前目录下的文件和文件夹 ls
  • 将JDK的安装文件移动到cm6.3.1目录下（可能是为了整理文件） mv jdk - 8u291 - linux - x64.rpm cm6.3.1
  • 查看目录文件 ls
  • 将解压后的CDH目录移动到/var/www/html/parcels目录下，并进行了重命名 mv cdh6.3.2 /var/www/html/parcels
  • 将解压后的CM目录移动到/var/www/html/cm目录下 cm6.3.1 /var/www/html/cm
  • 列出/var/www/html目录下的文件和文件夹 ls /var/www/html
  • 列出/var/www/html/cm目录下的文件和文件夹 ls /var/www/html/cm
  • 在/var/www/html/cm目录下创建yum仓库的元数据，以便可以通过网页查看CM安装包（括号内“网页查看cm”表述不太规范） createrepo /var/www/html/cm/
  • 然后去网页查看 http://nd1/cm
• 制作yum源
  • 切换到/etc/yum.repos.d/目录，该目录用于存放yum源配置文件 cd /etc/yum.repos.d/
  • 使用vi编辑器创建CentOS - Local.repo文件，配置本地yum源，名称为CentOS - Local，源地址为http://nd1/cm，不检查GPG签名，启用该源 vi CentOS - Local.repo([base - local] name=CentOS - Local baseurl=http://nd1/cm gpgcheck=0 enabled=1)
  • 列出yum仓库中的软件包列表，检查本地yum源是否配置正确 yum repolist
  • 复制到其他节点 scp CentOS - Local.repo nd2:/etc/yum.repos.d/
  • 在其他节点重复 yum repolist 进行查看
  • 安装jdk，批量输入 yum install jdk1.8 -y
  • 在主节点上查看Java版本信息 java -version
  • 查看MariaDB数据库服务的状态 systemctl status mariadb
  • 启动MariaDB数据库服务 systemctl start mariadb
  • 设置MariaDB数据库服务在系统启动时自动启动 systemctl enable mariadb
  • 进入MariaDB数据库命令行界面 mysql
  • 选择mysql数据库 use mysql
  • 删除host为'nd1'的用户记录 delete from user where host='nd1';
  • 授予root用户从任何主机远程访问所有数据库的权限，密码为'cqie' grant all privileges on *.* to root@'%' identified by 'cqie';
  • 刷新权限，使上述授权立即生效 flush privileges;
  • 创建数据库 create database metastore default character set utf8; create database hue default character set utf8; create database scm default character set utf8; 退出 exit
  • 使用指定的主机名、用户名和密码连接到MariaDB数据库 mysql -hnd1 -uroot -pcqie 再次退出 exit
  • 在主节点上安装Cloudera Manager Server yum install cloudera - manager - server -y
  • 在所有节点上安装Cloudera Manager Agent（批量输入） yum install cloudera - manager - agent -y
  • 使用vi编辑器打开Cloudera Manager Agent的配置文件，在三个节点上都执行此操作 vi /etc/cloudera - scm - agent/config.ini
• 准备脚本运行
  • 运行Cloudera Manager数据库准备脚本 /opt/cloudera/cm/schema/scm_prepare_database.sh
  • 创建目录（批量输入） mkdir /usr/share/java
  • 将MySQL的Java连接驱动复制到/usr/share/java/目录 cp mysql - connector - java.jar /usr/share/java/
  • 将MySQL的Java连接驱动复制到节点nd2的/usr/share/java/目录 scp mysql - connector - java.jar nd2:/usr/share/java/ scp mysql - connector - java.jar nd3:/usr/share/java/
  • 使用MySQL数据库为Cloudera Manager准备数据库，指定数据库类型为mysql，数据库名称为scm，主机为nd1，用户为root，密码为cqie /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm -hnd1 root cqie
  • 启动Cloudera Manager Server服务 systemctl start cloudera - scm - server
  • 在三个节点上启动Cloudera Manager Agent服务 systemctl start cloudera - scm - agent
  • 在三个节点上查看Cloudera Manager的相关服务状态 systemctl status cloudera - scm -*
  • 查看系统中正在监听的网络端口信息 netstat -lntp