@rg070836rg 2015-11-29T12:40:59.000000Z 字数 4732 阅读 5513

hadoop环境搭建（2.6版本）+JDK配置（1.8版本）+Eclipse安装+Eclipse_hadoop插件配置

`大创`

一、创建hadoop用户并赋予权限

①创建hadoop用户组

sudo addgroup hadoop

②创建hadoop用户

sudo adduser -ingroup hadoop hadoop

③密码设为admin

④增加权限

sudo gedit /etc/sudoers

在文件内上述修改以下代码并保存

# User privilege specification
root    ALL=(ALL:ALL) ALL
hadoop  ALL=(ALL:ALL) ALL

二、安装jdk

①创建目录 usr/lib/jvm

cd usr/lib    
sudo mkdir jvm

②下载安装包并解压，移动

cd 下载

执行下述代码（注意修改对应版本号）

sudo tar zxvf ./jdk-8u45-linux-x64.tar.gz  -C ../../../usr/lib/jvm

进入到该目录下，并进行移动操作

cd usr/lib/jvm
sudo mv jdk1.8.0_45/    java-8u45-sun
//注意版本号

③配置环境变量

注意！！：这种方式是为当前用户配置的所以，切换到hadoop之后，还需要在配置一遍
使用vim ~/.bashrc命令编辑
在底部加入命令

#######java-8u45-sun
export JAVA_HOME=/usr/lib/jvm/java-8u45-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

source ~/.bashrc
//更新文件

使用java -version检查是否成功

三、修改机器名（不必要）

sudo gedit /etc/hostname

编辑名字即可（随意，只是为了方便区分）

四、安装ssh服务

①安装openssh-server

sudo apt-get install openssh-server

②若报错为：“Ubuntu无法锁定管理目录（/var/lib/dpkg/），是否有其他进程占用它？“

sudo rm /var/lib/dpkg/lock
sudo rm /var/cache/apt/archives/lock

五、建立ssh无密码登录本机

①按照rsa方式生成密钥

ssh-keygen -t rsa -C "751440280@qq.com"
//邮箱输入自己的，仅作为标识

②输入存储目录

/home/hadoop/.ssh/id_rsa

成功后如下：

The key fingerprint is:
2f:bb:13:23:66:09:34:29:be:57:db:93:69:f0:71:2a 751440280@qq.com
The key's randomart image is:

③将id_rsa.pub追加到authorized_keys授权文件中

cd /home/hadoop/.ssh/
//默认文件夹
cat id_rsa.pub  >> authorized_keys

④测试是否能够登陆

 ssh localhost
 //输入yes 测试能否登陆。

六、安装hadoop

①下载hadoop

hadoop下载地址

②安装过程

2.1、复制文件到/usr/local/下

sudo cp hadoop-2.5.2.tar.gz  /usr/local/

2.2、解压

sudo tar -zxf hadoop-2.5.2.tar.gz

2.3、改名字

sudo mv hadoop-2.5.2 hadoop

2.4、将该hadoop文件夹的属主用户设为hadoop

sudo chmod -R 775 /usr/local/hadoop  
sudo chown -R hadoop:hadoop /usr/local/hadoop

2.5、修改bashrc的配置：

sudo gedit ~/.bashrc

在最后增加

    #HADOOP VARIABLES START  
    export JAVA_HOME=/usr/lib/jvm/？？？？
    #（看jdk配置//上一行需要保留并设置成本机的路径）
    export HADOOP_INSTALL=/usr/local/hadoop  
    export PATH=$PATH:$HADOOP_INSTALL/bin  
    export PATH=$PATH:$HADOOP_INSTALL/sbin  
    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL  
    export HADOOP_COMMON_HOME=$HADOOP_INSTALL  
    export HADOOP_HDFS_HOME=$HADOOP_INSTALL  
    export YARN_HOME=$HADOOP_INSTALL  
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native  
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"  
    #HADOOP VARIABLES END

然后更新生效

source ~/.bashrc

2.6、修改hadoop-env.sh的配置

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME改为上面的值,如下

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java-8u45-sun

2.7、修改core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

    <configuration>  
        <property>  
            <name>hadoop.tmp.dir</name>  
            <value>/usr/local/hadoop/tmp</value>  
            <description>Abase for other temporary directories.</description>  
        </property>  
        <property>  
            <name>fs.defaultFS</name>  
            <value>hdfs://localhost:9000</value>  
        </property>  
    </configuration>

2.8、修改mapred-site.xml

 sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml //此项不必要

    <configuration>  
     <property>     
          <name>mapred.job.tracker</name>    
          <value>localhost:9001</value>     
         </property>     
    </configuration>

2.9、修改yarn-site.xml

 sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

    <configuration>  
    <property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
    </property>  
    <property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
    </property>  
    </configuration>

2.10、修改hdfs-site.xml

 sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

    <configuration>  
    <property>  
            <name>dfs.replication</name>  
            <value>1</value>  
        </property>  
        <property>  
            <name>dfs.namenode.name.dir</name>  
            <value>file:/usr/local/hadoop/dfs/name</value>  
        </property>  
        <property>  
            <name>dfs.datanode.data.dir</name>  
            <value>file:/usr/local/hadoop/dfs/data</value>  
        </property>  
        <property>                 
                <name>dfs.permissions</name>  
                <value>false</value>  
         </property>  
     </configuration>

2.11、修改master与slaves

sudo gedit /usr/local/hadoop/etc/hadoop/masters 
sudo gedit /usr/local/hadoop/etc/hadoop/slaves
添加：localhost

七、运行hadoop

①首先在 Hadoop 目录下创建所需的临时目录

    cd /usr/local/hadoop  
    mkdir tmp dfs dfs/name dfs/data

②格式化hdfs文件系统，初次运行

cd /usr/local/hadoop/
bin/hdfs namenode -format

③最后开启服务

    sbin/start-dfs.sh  
    sbin/start-yarn.sh

八、状态查看

Namenode information:
http://localhost:50070
来查看Hadoop的信息。

All Applications：
http://localhost:8088/，

九、安装Eclipse

①下载地址

eclipse官方下载

②解压到/opt

cd /opt/ && sudo tar -zxvf ~/下载/eclipse（根据下载的版本号填写）

③创建快捷方式

gksudo gedit /usr/share/applications/eclipse.desktop

录入下述内容

[Desktop Entry]
Name=Eclipse 4
Type=Application
Exec=/opt/eclipse/eclipse
Terminal=false
Icon=/opt/eclipse/icon.xpm
Comment=Integrated Development Environment
NoDisplay=false
Categories=Development;IDE;
Name[en]=Eclipse

④作jre的软链接

 cd /opt/eclipse
 ln -sf /usr/lib/jvm/java-8u45-sun/jre

⑤、使用方式

用搜索栏搜索到eclipse，打开即可，可以选择拖拽到左侧快速启动栏

十、安装Eclipse hadoop插件

①下载hadoop-eclipse-plugin-2.4.0.jar

版本号无所谓，把这个文件拷贝到opt/eclipse/plugins中，这里介绍

sudo nautilus

这个命令会给你一个最高权限的资源管理器，可以进行复制
拷贝完之后，打开eclipse

②添加Hadoop的安装目录

在Window->Preferences->Hadoop Map/Reduce中添加Hadoop的安装目录

③配置Map/Reduce Locations

在Window-->Show View->other，
在MapReduce Tools中选择Map/Reduce Locations

配置如下:
此处输入图片的描述
至此,基本完成,下面接scala和spark的教程.
网址:https://www.zybuluo.com/rg070836rg/note/153105