首发于 Hadoop

01-hadoop运行环境搭建

刘聪

做一条有梦想的咸鱼！

一、模板虚拟机环境准备

[root@hadoop100 ~]# yum install -y epel-release

2. 关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

3. 创建 liucong 用户，并修改 liucong 用户的密码

[root@hadoop100 ~]# useradd atguigu
[root@hadoop100 ~]# passwd atguigu

4. 配置 liucong 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：

5.在/opt 目录下创建文件夹，并修改所属主和所属组

6. 卸载虚拟机自带的 JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e 
--nodeps

二、克隆虚拟机及相关配置

2.1 克隆虚拟机

Step1：关闭要克隆的虚拟机。

Step2：找到克隆选项，如图5-1所示。

Step3：设置创建完整克隆，如图5-2所示。

Step4：设置克隆的虚拟机名称和存储位置，如图5-3所示。

Step5：等待克隆，如图5-4所示。

2.2 修改克隆后的配置参数

Step1：修改网卡

进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址，如图5.2-1所示。

Step2：修改IP地址

Step3：修改主机名

Setp4：重启服务器

三、在hadoop102安装JDK

Step1：卸载现有 JDK ；（注意：安装前，一定确保提前删除了虚拟机自带的 JDK）

Step2：用 XShell 传输工具将 JDK 导入到 opt 目录下面的 software 文件夹下面；

Step3: 在 Linux 系统下的 opt 目录中查看软件包是否导入成功;

Step4: 解压 JDK 到/opt/module 目录下;

[liucong@hadoop102 software]$ tar -zxvf jdk-8u212-linuxx64.tar.gz -C /opt/module/

Step5: 配置 JDK 环境变量;

新建/etc/profile.d/my_env.sh 文件

[liucong@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME 
export JAVA_HOME=/opt/module/jdk1.8.0_212 
export PATH=$PATH:$JAVA_HOME/bin

source 一下/etc/profile 文件，让新的环境变量 PATH 生效

[liucong@hadoop102 ~]$ source /etc/profile

Step6: 测试 JDK 是否安装成功;

[liucong@hadoop102 ~]$ java -version

四、在hadoop102安装Hadoop

Hadoop 下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

Step1：解压操作与三中JDK的操作相同；

Step2：将 Hadoop 添加到环境变量；

获取 Hadoop 安装路径

[liucong@hadoop102 hadoop-3.1.3]$ pwd 
/opt/module/hadoop-3.1.3

打开/etc/profile.d/my_env.sh 文件

[atguigu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在 my_env.sh 文件末尾添加如下内容：（shift+g）

#HADOOP_HOME 
export HADOOP_HOME=/opt/module/hadoop-3.1.3 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效

[liucong@hadoop102 hadoop-3.1.3]$ source /etc/profile

Step3: 测试Hadoop 是否安装成功;

[liucong@hadoop102 hadoop-3.1.3]$ hadoop version Hadoop 3.1.3

五、Hadoop目录结构

2. 重要目录

（1）bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

（3）lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

（4）sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

（5）share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

编辑于 2021-05-22 18:44

Linux