1.去官网下载编译好的对应版本的软件，解压到指定目录下，配置环境变量和各自的配置文件，然后启动相应的服务即可。

2.通过linux自带的安装助手工具安装，以本次centos中的实际操作为例，通过

yum install softname1 softname2 ... -y #如果不是root用户sudo yum install softname1 softname2 ... -y

安装相关的平台组件，详细的帖子可以参考

(1) 使用CDH5安装Hadoop集群

(2) 使用yum源安装CDH Hadoop集群

(3) Spark安装和使用

(4) Monitoring and Instrumentation

(5) Spark history Server产生背景

这里补充几个问题点：

q1.  yum install 命令安装软件时，命令行中没有显示指定软件版本， ref-software-list.1中我们要安装指定版本的hadoop和yarm该如何控制版本信息呢

a1.  

通过配置yum源指定hadoop的版本为cdh5, yum install 命令会根据配置的baseurl自动去适配hadoop的版本，因spark的安装依赖hadoop，hadoop安装完成（版本确定），安装spark时会根据已有的hadoop适配其自身的版本。

本次安装hadoop yum源配置如下，在/etc/yum.repos.d/cdh5.repo （如果没有对应的文件或者目录需要自己创建）添加如下内容：

yum install spark-core spark-master spark-worker spark-history-server -y

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
	<name>fs.defaultFS</name>
	<value>hdfs://cdh1:8020</value>
    </property>
    <!--
    <property>
   	<name>fs.default.name</name>
    	<value>hdfs://cdh1:8020/</value>
    </property>
    -->
</configuration>cdh1:8020/</value>
    </property>
    -->
</configuration>

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:///var/lib/hadoop-hdfs/cache/hdfs/dfs/name</value>
  </property>
  <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:///var/lib/hadoop-hdfs/cache/hdfs/dfs/data</value>
  </property>
  <property>
     <name>dfs.permissions.superusergroup</name>
     <value>hadoop</value>
  </property>
  <property>
	<name>dfs.replication</name>
	<value>1</value>
  </property>
</configuration>

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
	<name>mapred.job.tracker</name>
	<value>cdh1:9001</value>
    </property>
</configuration>

spark.master                     spark://cdh1:7077
spark.eventLog.enabled           true
spark.eventLog.dir               /user/spark/applicationHistory
spark.history.provider		   org.apache.spark.deploy.history.FsHistoryProvider
spark.yarn.historyServer.address	http://cdh1:18080

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=10 -Dspark.history.fs.logDirectory=/user/spark/applicationHistory"

export SPARK_HOME=/usr/lib/spark

a1. 配置scala自身的sdk的时候按照 Configure ->Projects Default ->Project Structure ->Global Libraries ->+ ->Scala SDK 没有弹框反应，这应该是版本兼容性的问题（我之前的idea是ver-2017.2,后来改成ver-2016.3）

 

a2. 新建基于maven的scala工程时不要勾选 Create from archetype 然后使用 scala-archetype-simple框架自动生成工程，idea会自动导入scala的相关类库和已经指定的类库冲突；按照文档要求生成空的maven工程，删除自动产生的目录在main目录下手工创建scala,test，resources等目录,将scala框架添加到这个工程（在工程上面右键选择 Add Framework Support...），将scala,test，resources 标记为资源的根目录在它们各自上面右键Mark Directory as -> Sources Root。

到此一个新的基于maven的scala空工程已经建立完成，接下来可以往这个工程中新建类，添加相关依赖和打包执行。为了稍微增加一点演示的复杂度，从github上找了一个演示例子 learning-spark，工程中同时包含java和scala的代码，希望能同时编译java和scala代码并将相关的依赖jar打包并最终生成一个可执行的jar（fat 编译模式），另外还有thin 编译模式（执行jar和依赖jar分开，依赖jar放在服务器端，每次只需要在本地编译执行jar并上传到服务器，避免频繁传输过大的jar造成网络负载重），参考  Scala + Spark +Maven之Helloworld

将该工程down下来之后，找到mini-complete-example目录(该目录下包含一个精简版的实例)，删除除src和pom.xml以外的所有文件，

 

将该工程导入idea中，修改pom文件内容 （特别注意网上有些讲解scala + spark + maven工程打包的时候在pom.xml文件的dependency中引入了scala-library,scala-compiler等包，而客户端开发环境本身就安装了scala，自然包含了这些包，因此这些依赖引用都要移除掉，本工程中只需要引入spark-core这个依赖包），完整的pom.xml文件如下：

<project>
  <groupId>com.oreilly.learningsparkexamples.mini</groupId>
  <artifactId>learning-spark-mini-example</artifactId>
  <modelVersion>4.0.0</modelVersion>
  <name>example</name>
  <packaging>jar</packaging>
  <version>0.0.1</version>
	<repositories>
		<repository>
			<id>jboss</id>
			<name>Maven of jboss.org</name>
			<url>http://repository.jboss.org/nexus/content/groups/public/</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>true</enabled>
			</snapshots>
			<layout>default</layout>
		</repository>

		<repository>
			<id>oschina</id>
			<name>Maven of oschina.net</name>
			<url>http://maven.oschina.net/content/groups/public/</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>true</enabled>
			</snapshots>
			<layout>default</layout>
		</repository>

		<repository>
			<id>spring-libs-snapshot</id>
			<url>http://repo.spring.io/libs-snapshot</url>
			<snapshots>
				<enabled>true</enabled>
			</snapshots>
		</repository>

		<repository>
			<id>Akka repository</id>
			<url>http://repo.akka.io/releases</url>
		</repository>
		<repository>
			<id>scala-tools</id>
			<url>https://oss.sonatype.org/content/groups/scala-tools</url>
		</repository>
		<repository>
			<id>apache</id>
			<url>https://repository.apache.org/content/repositories/releases</url>
		</repository>
		<repository>
			<id>twitter</id>
			<url>http://maven.twttr.com/</url>
		</repository>
		<repository>
			<id>central2</id>
			<url>http://central.maven.org/maven2/</url>
		</repository>
		<repository>
			<id>central</id>
			<name>Maven Repository Switchboard</name>
			<layout>default</layout>
			<url>http://repo2.maven.org/maven2</url>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>
	</repositories>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<spark.version>1.6.3</spark.version>
		<scala.version>2.10</scala.version>
		<hadoop.version>2.6.0</hadoop.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-core_2.10</artifactId>
			<version>1.6.3</version>
		</dependency>
	</dependencies>

	<build>
		<sourceDirectory>src/main</sourceDirectory>
			<resources>
				<resource>
					<filtering>true</filtering>
					<directory>src/main/java</directory>
					<includes>
						<include>*.*</include>
					</includes>
				</resource>
				<resource>
					<filtering>true</filtering>
					<directory>src/main/scala</directory>
					<includes>
						<include>*.*</include>
					</includes>
				</resource>
			</resources>
		<plugins>
			<plugin>
				<!-- 这是个编译java代码的 -->
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>3.2</version>
				<configuration>
					<source>1.7</source>
					<target>1.7</target>
					<encoding>UTF-8</encoding>
				</configuration>
				<executions>
					<execution>
						<phase>compile</phase>
						<goals>
							<goal>compile</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
			<plugin>
				<!-- 这是个编译scala代码的 -->
				<groupId>net.alchim31.maven</groupId>
				<artifactId>scala-maven-plugin</artifactId>
				<version>3.2.1</version>
				<executions>
					<execution>
						<id>scala-compile-first</id>
						<phase>process-resources</phase>
						<goals>
							<goal>add-source</goal>
							<goal>compile</goal>
						</goals>
					</execution>
				</executions>
			</plugin>

			<!--
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-shade-plugin</artifactId>
				<version>3.0.0</version>
				<configuration>
				</configuration>
				<executions>
					<execution>
						<phase>package</phase>
						<goals>
							<goal>shade</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
			-->
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-shade-plugin</artifactId>
				<version>1.4</version>
				<executions>
					<execution>
						<phase>package</phase>
						<goals>
							<goal>shade</goal>
						</goals>
						<configuration>
							<filters>
								<filter>
									<artifact>*:*</artifact>
									<excludes>
										<exclude>META-INF/*.SF</exclude>
										<exclude>META-INF/*.DSA</exclude>
										<exclude>META-INF/*.RSA</exclude>
									</excludes>
								</filter>
							</filters>
							<transformers>
								<transformer
										implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
									<mainClass>com.oreilly.learningsparkexamples.mini.scala.WordCount</mainClass>
								</transformer>
								<!--
								<transformer
										implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
									<resource>META-INF/spring.handlers</resource>
								</transformer>
								<transformer
										implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
									<resource>META-INF/spring.schemas</resource>
								</transformer>
								-->
							</transformers>
						</configuration>
					</execution>
				</executions>
			</plugin>

		</plugins>
	</build>
</project>

在该工程的根目录下执行

mvn clean scala:compile compile package -DskipTests

将在target目录中生成一个learning-spark-mini-example-0.0.1.jar文件 (大约88M)，该jar可以提交到spark平台执行

 

hdfs dfs -mkdir -p /user/spark#spark相关的路径spart-history-server 中eventLog.dir配置该目录的applicationHistory中

hdfs dfs -put datadir/*.txt  /user/hadoop/data#datadir/*.txt 是本地数据文件路径    /user/hadoop/data 是hdfs中的文件路径

来自官网的使用说明：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

本例中的执行实例：

spark-submit --class com.oreilly.learningsparkexamples.mini.scala.WordCount --master spark://cdh1:7077 /user/spark/learning-spark-mini-example-0.0.1.jar hdfs://cdh1:8020/user/hadoop/data/sample_age_data1*.txt /user/spark/stat_rs.txt--master spark://cdh1:7077 /user/spark/learning-spark-mini-example-0.0.1.jar hdfs://cdh1:8020/user/hadoop/data/sample_age_data1*.txt /user/spark/stat_rs.txt

1. http://www.scala-lang.org/

2. http://hadoop.apache.org/

3. http://spark.apache.org/

4. http://maven.apache.org/plugins/maven-shade-plugin/

5. http://maven.apache.org/plugins/maven-resources-plugin/

6. https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice1/index.html

7. http://www.jianshu.com/p/ecc6eb298b8f