Hadoop-2-模板虚拟机的创建

操作系统安装

虚拟机的安装过程见此教程。

配置网络过程见此教程。

安装工具

yum install -y epel-release net-tools vim

epel-release：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方repository中是找不到的）

yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git

永久关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙。

创建minglog用户，并修改minglog用户名单密码

这里用户名称minglog，可以自己修改，只要记住后的相应位置全部更改即可。

useradd minglog
passwd minglog

配置minglog用户具有root权限，方便后期加sudo执行root权限的命令

chmod +w /etc/sudoers  # 给文件添加写入权限
vim /etc/sudoers

在100行左右添加以下内容。(在vim命令模式下输入100G可自动跳转到100行)

minglog   ALL=(ALL)     NOPASSWD:ALL

回收/etc/sudoers的写入权限

chmod -w /etc/sudoers

在/opt目录下创建文件夹，并修改所属者和所有组为minglog用户

在/opt目录下创建module、software文件夹

mkdir /opt/module
mkdir /opt/software

修改module和software文件夹的所有者和所有组为minglog用户

chown -R minglog:minglog /opt/module /opt/software

卸载自带的JDK

首先检查是否有JDK。

rpm -qa | grep -i java

如果有返回结果，则执行以下命令卸载，如果没有返回结果则忽略这一步。

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

修改hosts文件

vim /etc/hosts

在文件中添加以下内容：

192.168.128.100 hadoop100
192.168.128.101 hadoop101
192.168.128.102 hadoop102
192.168.128.103 hadoop103
192.168.128.104 hadoop104
192.168.128.105 hadoop105
192.168.128.106 hadoop106
192.168.128.107 hadoop107
192.168.128.108 hadoop108

安装JDK和Hadoop

首先将对应的压缩包，导入到/opt/software文件夹。

点击此处下载

安装JDK

进入到/opt/software目录，并解压压缩包。

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

然后配置JDK环境变量

在/etc/profile.d文件夹中新建my_env.sh文件，用于存储自己的环境变量。

vim /etc/profile.d/my_env.sh

添加以下内容：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

保存后重新加载环境变量。

source /etc/profile

然后输入java -version测试JDK是否安装成功。

安装Hadoop

进入到/opt/software目录，并解压压缩包。

cd /opt/software/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

然后配置Hadoop环境变量，再次编辑/etc/profile.d/my_env.sh，添加以下内容。

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存后重新加载环境变量。

source /etc/profile

然后输入hadoop version查看是否安装成功。

至此，模板虚拟机创建完成。