一、python3在yarn高可用集群中执行MapReduce处理数据报错

（一）执行代码

python3 ~/MRWordCount2.py -r hadoop hdfs://mynode1:8020/python_hadoop/hosts -o hdfs://mynode1:8020/python_hadoop/output

（二）报错截图

二、解决办法

（一）命令行输入：hadoop classpath

（二）将（一）输出结果添加到mapred-site.xml文件中

（三）将（一）输出结果添加到yarn-site.xml文件中

（四）在yarn-site.xml中配置webapp和scheduler信息

1.配置yarn.resourcemanager.webapp.address.rm-id信息：对于每个rm-id，指定RM Web应用程序对应的host:port。如果将yarn.http.policy设置为HTTPS__ONLY，则不需要此选项。如果设置，将覆盖yarn.resourcemanager.hostname中设置的主机名。rm-id。

2.配置yarn.resourcemanager.scheduler.address.rm-id信息：对于每个rm-id，为ApplicationMasters指定调度程序host:port以获得资源。如果设置，将覆盖yarn.resourcemanager.hostname中设置的主机名。rm-id。

（五）分发配置文件到集群各个节点

将mynode1上的mapred-site.xml和yarn-site.xml分发到yarn集群的各个节点上。

三、执行成功验证

（一）重复执行一、中的（一）执行代码

（二）执行结果

输出结果所在的路径：

（三）验证执行内容