spark部署
2014年7月9日
18:35
1. 所有主机：将scala和spark安装包解压到/usr/local下，并配置环境变量：
注意：
1. 需要下载和hadoop版本对应的spark
2. 执行source /etc/profile
2. 配置spark，先在主节点配置，然后拷贝至所有节点
a. 配置spark-env.sh，需要先拷贝出一个该文件：
注意：spark主节点默认端口8080，如果主节点部署有tomcat，需要将主节点端口该一下：export SPARK_MASTER_WEBUI_PORT=8089
2. 配置slave文件，将所有从节点添加进去，一个一行，这里把所有主机（包括
主节点）都写上了
3.
将所有配置拷贝到所有节点
4. 启动、停止spark：sbin/start-all.sh、sbin/stop-all.sh，可以在http://主节
点IP:8080/ 查看spark集群情况
因篇幅问题不能全部显示，请点此查看更多更全内容