1.配置linux系统

1.1实验前准备

把下载的hadoop和jdk分别移到这两个文件夹中。（这两个文件夹是自己建的）
（jdk+hadoop）安装包下载地址–》》请点击
提取码：m6s8

将jdk和hadoop压缩包拖进所创建的目录

1.2配置时钟同步

1.在Master节点上配置
(1)配置自动时钟同步。

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

（2）手动同步时间

/usr/sbin/ntpdate cn.pool.ntp.org

2.在Slave节点上配置
(1)配置自动时钟同步。

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

（2）手动同步时间

usr/sbin/ntpdate cn.pool.ntp.org

1.3配置主机名

1.在Master节点上配置


2.在Slave节点上配置

1.4配置网络环境

（1）如图所示，查询ip地址，执行setup命令。




选择“OK”，之后使用“Tab”键选择“Quit”回车确认退出。
(2)重启网络

/sbin/service network restart

(3)检验是否修改成功

ifconfig

1.5关闭防火墙

1.在Master节点上配置




2.在Slave节点上配置(如上配置一样)

1.6 配置hosts列表

1.在Master节点上配置


2.在Slave节点上配置


检查是否配置成功。

1.7安装JDK

1.在Master节点上配置
安装JDK过程：



2.在Slave节点上配置（如上述一样配置）

1.8配置免密登录

1.在Master节点上配置

(1)在Master终端使用ssh-keygen生成一对公私密钥（敲3个回车）。

(2)复制公钥文件到需要被免密码的主机上。

(3)查看公钥的内容
cat id_rsa.pub
cat authorized_keys

(4)修改authorized_keys文件的权限和.ssh文件的权限。

(5)将authorized_keys文件复制到Slave节点上。

scp ~/.ssh/authorized_keys whzy@slave:~/
如果提示输入yes/no的时候，输入yes后回车。

注：如果出现下列语句说22端口未启用，请关闭防火墙。
在root权限下，service iptables stop

2.在Slave节点上配置

###3.验证免密登录

2.配置Hadoop

2.1解压hadoop安装包

2.2在Master节点修改Hadoop配置文件

1.配置环境变量hadoop—env.sh

2.配置环境变量yarn—env.sh

3.配置核心组件core-site.xml

whzy@master hadoop-2.7.3]$ vi ~/hadoop-2.7.3/etc/hadoop/core-site.xml
用下面代码中<configuration>和</configuration>之间的内容替换core-site.xml中相应的部分。
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/whzy/hadoopdata</value>
</property>
</configuration>

4. 配置文件系统hdfs-site.xml

[whzy@master hadoop-2.7.3]$ vi ~/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
用下面代码中<configuration>和</configuration>之间的内容替换hdfs-site.xml中相应的部分。
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/whzy/hadoopdata/dfs/name</value>
 </property>
 <property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/whzy/hadoopdata/dfs/data </value>
 </property>
<property>  
<name>dfs.block.size</name>  
<value>134217728</value>
 </property>
 <property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
 </property>
 <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
 </property> 
 <property> 
<name>dfs.permissions.enabled</name> 
<value>true</value> 
</property>
<property> 
<name>dfs.namenode.acls.enabled</name> 
<value>true</value> 
</property>
</configuration>

5. 配置文件系统yarn-site.xml

[whzy@master hadoop-2.7.3]$ vi ~/hadoop-2.7.3/etc/hadoop/yarn-site.xml
用下面代码中<configuration>和</configuration>之间的内容替换yarn-site.xml中相应的部分。
<?xml version="1.0"?>
<configuration>
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>

6. 配置计算框架mapred-site.xml

[whzy@master hadoop-2.7.3]$ cp ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml
再用gedit或vi来编辑，将下面的代码替换yarn-site.xml中的内容。
 [whzy@master ~]$ gedit ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml
或
[whzy@master hadoop-2.7.3]$ vi ~/hadoop-2.7.3/etc/hadoop/mapred-site.xml
用下面代码中<configuration>和</configuration>之间的内容替换mapred-site.xml中相应的部分。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

7. 在Master节点配置slaves文件

2.3在Master节点上配置Hadoop系统环境变量

2.4将已经配置好的Hadoop复制到其他节点

2.5创建数据目录

1.在Master节点上配置

2.在Slave节点上配置

3.启动Hadoop集群

3.1格式化文件系统

注意：本操作只需要在Master节点上执行
注意：仅在第一次启动之前需要格式化，后面启动不需要格式化

hdfs namenode -format

3.2启动Hadoop集群

4.测试Hadoop集群

1. 用jps查看进程是否启动

2. 运行PI实例检查Hadoop集群是否部署成功。

[whzy@master ~]$ cd ~/hadoop-2.7.3/share/hadoop/mapreduce/
[whzy@master mapreduce]$ hadoop jar ~/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 10

3.通过网页http://主节点ip地址.50070访问slave的运行状况

致此，我们的hadoop伪分布式环境搭建完成，各位即可进行hadoop相关的实验了。希望我的博客对你有所帮助！！！
如果安装过程中有什么问题，请私信我。