问题描述

运行过程中报错显示:


 

原因分析:

根据报错显示,可以发现报错内容显示的是:名称节点处于安全模式。安全模式下不可以实现增删改操作。

 

    当块的数量低于阀值,datanode启动数量不够都会进入安全模式。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。


解决方案:

hadoop为了防止数据丢失,启动了“安全模式”的设置,我们只需要关闭安全模式即可。

1、到Hadoop安装目录下:

cd /usr/local/hadoop-2.7.4/bin/

 2、离开安全模式命令:

hadoop dfsadmin -safemode leave

即可退出安全模式。

 

3、测试提交spark-submit是否成功:

/myserver/spark301/bin/spark-submit --master local[2]   --class org.apache.spark.examples.SparkPi  /myserver/spark301/examples/jars/spark-examples_2.12-3.0.1.jar  10

成功页面显示如图所示:

 

更多推荐