scala配置+spark安装

课程设计
本篇文章是基于安装好jdk/Hadoop的基础上的拓展.文章如下:
hadoop环境搭建（2.6版本）+JDK配置（1.8版本）+Eclipse安装+Eclipse_hadoop插件配置

一.安装 Scala

Scala 官网地址为 http://www.scala-lang.org/。

1)下载 scala-2.11.7.tgz。

2)进入目录下解压,并移动到合适的位置(比如opt目录下):

tar -xzvf scala-2.11.7.tgz

3)配置环境变量,编辑~/.bashrc,添加下面的内容。

sudo gedit ~/.bashrc

#scala envir
export SCALA_HOME=/xxxxxxxx  //写上你的目录比如/opt/scala-2.11.7
export PATH=${SCALA_HOME}/bin:$PATH

4)使 bashrc 文件更新生效。

 source ~/.bashrc 

5)在终端输入scala测试是否安装成功

注:

不能使用apt-get install scala 这样安装是基于openjdk,问题很多.

二.安装 Spark

进入官网下载对应 Hadoop 版本的 Spark 程序包
官网地址为 http://spark.apache.org/downloads.html。
这边下载最新版本1.41,2015年08月15日

1)下载 spark-1.4.1-bin-hadoop2.6.tgz。

2)解压并移动到合适的位置(比如opt目录下):。

tar -xzvf spark-1.4.1-bin-hadoop2.6.tgz
//为了方便,移动后改名为spark

3)配置环境变量,编辑~/.bashrc,添加下面的内容。

sudo gedit ~/.bashrc

#spark
export SPARK_HOME=$HOME/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

4)使 bashrc 文件更新生效。

 source ~/.bashrc 

5)配置 conf/spark-env.sh 文件\

加上 export JAVA_HOME=/usr/lib/jvm/java-8u45-sun

6)若出现权限问题,修改组权限为读写

7)在sbin目录下,调用脚本start-all.sh开启服务