搭建Spark 2.2.1 基于Hadoop 2.6.5 和 Ubuntu 16.0.4 记录

Big-Data 2018-02

安装Scala

sudo apt-get install scala

然后终端输入scala -version验证scala版本即可.

如果没有任何提示,可以把scala的路径配置到环境变量中去,默认安装在/usr/share/scala-2.11

打开配置文件~/.bashrc, 新加入以下配置路径

export SCALA_HOME=/usr/share/scala-2.11
export PATH=$PATH:$SCALA_HOME/bin

然后终端输入source ~/.bashrc,使前面的配置生效.

下载Spark

在Spark下载页面选择已经配置好的Hadoop版本, 然后下载Spark,只有解压到/usr/local目录下即可

sudo tar -xzvf /home/mutex/Downloads/spark-2.2.1-bin-hadoop2.6.tgz -C /usr/local/

配置Spark

打开配置文件~/.bashrc, 新加入以下配置路径

export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin

然后终端输入source ~/.bashrc,使前面的配置生效.

进入到conf目录,生成并配置spark-env.sh文件

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
sudo vim spark-env.sh

新增以下配置路径

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=4G

启动Spark

$SPARK_HOME/sbin/start-all.sh
jps

在浏览器中输入http://localhost:8080/如图看到有worker表示搭建完成.

简单例子

hadoop@mutex-dl:/usr/local/spark-2.2.1-bin-hadoop2.6/conf$ run-example SparkPi

直接给出结果:

Pi is roughly 3.135395676978385