实验环境的配置

PC机。linux操作系统

1. 首先安装rsync

2.关闭防火墙并禁止防火墙开机启动

实验内容与具体步骤

3.    添加hadoop用户和设置hadoop用户的密码

4. 上传jdk和hadoop安装包

5. 将jdk解压

6. 配置环境变量修改:/etc/profile文件,在末尾加上下面两句话

export JAVA_HOME=/usr/local/ jdk1.8.0_111

export PATH=$JAVA_HOME/bin:$PATH

7.使/etc/profile生效并测试Java环境

8. 解压hadoop安装包

9. 配置环境变量,修改:/etc/profile文件,在末尾加上下面两句话，并使/etc/profile生效。

export HADOOP_HOME=/usr/local/hadoop-3.2.4

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

10. [root@localhost local]# vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh中配置java环境,文件末尾追加：export JAVA_HOME=/usr/local/jdk1.8.0_111

并测试hadoop version

11.在/usr/local/hadoop-3.2.4下创建目录input

12. 将usr/local/hadoop-3.2.4/etc/hadoop/*.xml的所有配置文件拷贝到input目录中,作为测试的数据

13. 运行hadoop,搜索input目录下的所有文件,按照规则’dfs[a-z.]+'匹配,结果输出到output目录下：[root@localhost hadoop-3.2.4]# $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar grep input output 'dfs[a-z.]+'

14. 查看结果输出

15. 删除input和output文件夹

实验内容与具体步骤

16. 修改配置文件

/usr/local/hadoop-3.2.4/etc/hadoop/core-site.xml

/usr/local/hadoop-3.2.4/etc/hadoop/core-site.xml

17. 检查ssh是否能免密码登录

18. 配置ssh免密码登录

[root@localhost ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

[root@localhost ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[root@localhost ~]# chmod 0600 ~/.ssh/authorized_keys

[root@localhost ~]# ssh localhost            //检查ssh是否能免密码登录

19. 格式化文件系统

20. 修改$HADOOP_HOME/sbin/start-dfs.sh(/usr/local/hadoop-3.2.4/sbin/start-dfs.sh)和$HADOOP_HOME/sbin/stop-dfs.sh(/usr/local/hadoop-3.2.4/sbin/stop-dfs.sh),在文件头加入以下内容

21. 启动hadoop服务：start-dfs.sh

22. 浏览器访问namenode节点：http://192.168.5.5:9870/ 可以看到hadoop的信息

23. 首先创建用户目录并查看当前用户下的文件

24. 准备实验的数据(将/usr/local/hadoop-3.2.4/etc/hadoop/*.xml下面的所有xml文件拷贝到input目录下)

25. 将input目录上传到hadoop上命名为input1（bin/hdfs dfs -put input input1）

查看hadoop上已有的实验文件（bin/hdfs dfs -ls；bin/hdfs dfs -ls input1）

26. 调用hadoop,搜索input1目录下的所有文件,按照规则’dfs[a-z.]+'匹配,结果输出到output目录下：[root@localhost hadoop-3.2.4]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar grep input1 output 'dfs[a-z.]+'

27. 查看hadoop上生成的output目录

28. 关闭伪分布式hadoop：[root@localhost hadoop-3.2.4]# sbin/stop-dfs.sh