Hadoop-2-模板虚拟机的创建

操作系统安装

虚拟机的安装过程见此教程。

配置网络过程见此教程。

安装工具

更换yum源，编辑CentOS-Base.repo文件：

vim /etc/yum.repos.d/CentOS-Base.repo

进入文件后，长按d（注意：不需要进入编辑模式）删除所有内容，然后按i进入编辑模式，将以下内容复制到文件中。

[base]
name=CentOS-$releasever - Base
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

[updates]
name=CentOS-$releasever - Updates
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

[extras]
name=CentOS-$releasever - Extras
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

[centosplus]
name=CentOS-$releasever - Plus
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

文件修改完毕后，重启系统。待重启完毕后，重新使用MobaXterm连接虚拟机。

接下来安装红帽扩展库

yum install -y epel-release net-tools vim

epel-release：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方repository中是找不到的）

继续安装依赖环境。

yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git

永久关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙。

关闭NetworkManager

systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl status NetworkManager

这一步需要关闭，否则后续在克隆虚拟机后会导致网卡冲突，无法联网。

创建minglog用户，并修改minglog用户名单密码

这里用户名称minglog，可以自己修改，只要记住后的相应位置全部更改即可。

useradd minglog
passwd minglog

密码建议设置123456（他会提示密码无效，但是不用理会，直接设置123456。）

配置minglog用户具有root权限，方便后期加sudo执行root权限的命令

chmod +w /etc/sudoers  # 给文件添加写入权限
vim /etc/sudoers

在100行左右添加以下内容。(在vim命令模式下输入100G可自动跳转到100行)

minglog   ALL=(ALL)     NOPASSWD:ALL

回收/etc/sudoers的写入权限

chmod -w /etc/sudoers

在/opt目录下创建文件夹，并修改所属者和所有组为minglog用户

在/opt目录下创建module、software文件夹

mkdir /opt/module
mkdir /opt/software

修改module和software文件夹的所有者和所有组为minglog用户

chown -R minglog:minglog /opt/module /opt/software

卸载自带的JDK

首先检查是否有JDK。

rpm -qa | grep -i java

如果有返回结果，则执行以下命令卸载，如果没有返回结果则忽略这一步。

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

修改hosts文件

vim /etc/hosts

在文件中添加以下内容：

192.168.128.100 hadoop100
192.168.128.101 hadoop101
192.168.128.102 hadoop102
192.168.128.103 hadoop103
192.168.128.104 hadoop104
192.168.128.105 hadoop105
192.168.128.106 hadoop106
192.168.128.107 hadoop107
192.168.128.108 hadoop108

安装JDK和Hadoop

首先关闭当前终端，然后以minglog用户登录终端

输入密码123456，按回车登录

安装JDK

首先下载后续需要用到的软件压缩包。

点击此处下载

首先将对应的压缩包，导入到/opt/software文件夹。

首先勾选Follow terminal folder，然后在终端中输入cd /opt/software/进入对应目标，此时左侧的窗口也会自动切换到/opt/software目录。

然后将本机的两个压缩包，拖入到文件区域即可完成上传。

上传成功

接下来。进入到/opt/software目录，并解压压缩包。

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

然后配置JDK环境变量

在/etc/profile.d文件夹中新建my_env.sh文件，用于存储自己的环境变量。

sudo vim /etc/profile.d/my_env.sh

添加以下内容：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

保存后重新加载环境变量。

source /etc/profile

然后输入java -version测试JDK是否安装成功。

安装Hadoop

进入到/opt/software目录，并解压压缩包。

cd /opt/software/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

然后配置Hadoop环境变量，再次编辑/etc/profile.d/my_env.sh

sudo vim /etc/profile.d/my_env.sh

添加以下内容。

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存后重新加载环境变量。

source /etc/profile

然后输入hadoop version查看是否安装成功。

hadoop version

至此，模板虚拟机创建完成。