[关闭]
@BrandonLin 2016-11-03T15:39:16.000000Z 字数 2374 阅读 4323

Hue 3.9 安装

Hue


Hue是Cloudera开源的一个Hadoop UI,由Cloudera Desktop演化而来。面向用户提供方便的UI用于平时的Hadoop操作中。Apache Ambari面向的是管理员,用于安装、维护集群,而不是使用集群。两者针对的是不同需求。

Hue安装:

官网教程:http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/

依赖安装:

  1. yum -y install gcc-c++ asciidoc cyrus-sasl-devel cyrus-sasl-gssapi krb5-devel libxml2-devel libxslt-devel mysql-devel openldap-devel python-devel sqlite-devel openssl-devel gmp-devel

(不同环境的依赖包参考这里

Maven和Ant安装

Hue的安装过程需要依赖于Maven和Ant,按常规方法安装Maven和Ant,配置MAVEN_HOME,ANT_HOME,并将bin目录加入PATH。具体步骤略。

下载

  1. wget https://dl.dropboxusercontent.com/u/730827/hue/releases/3.9.0/hue-3.9.0.tgz
  2. tar zxvf hue-3.9.0.tgz
  3. cd hue-3.9.0
  4. #安装
  5. make apps

安装过程需要下载的东西比较多,如果网络不好,可能需要等一段时间。make操作没有报错之后,就算安装成功。

配置Hue

Hue的配置集中在$HUE_HOME/desktop/conf/hue.ini文件,针对不同的Hadoop组件分段配置。详细配置文件参考这里。下面是我的配置示例:

Hue

  1. secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
  2. http_host=0.0.0.0
  3. http_port=8888
  4. server_user=root
  5. server_group=root
  6. default_user=root
  7. default_hdfs_superuser=root

Hadoop/HDFS

  1. fs_defaultfs=hdfs://master:9000
  2. webhdfs_url=http://master:50070/webhdfs/v1
  3. hadoop_conf_dir=/home/hadoop-2.6.0/etc/hadoop

YARN

  1. resourcemanager_host=master
  2. resourcemanager_port=8032
  3. resourcemanager_api_url=http://master:18088
  4. proxy_api_url=http://master:18088
  5. history_server_api_url=http://master:19888

HBase

  1. hbase_clusters=(Cluster|master:9090)
  2. hbase_conf_dir=/home/hbase-1.2.2/conf

Hive

  1. hive_server_host=master
  2. hive_server_port=10000
  3. hive_conf_dir=/home/hive-2.0.0/conf

Pig

  1. # Location of piggybank.jar on local filesystem.
  2. ## local_sample_dir=/usr/share/hue/apps/pig/examples
  3. # Location piggybank.jar will be copied to in HDFS.
  4. ## remote_data_dir=/user/hue/pig/examples

Sqoop2

  1. server_url=http://master:12000/sqoop
  2. sqoop_conf_dir=/home/sqoop-1.99.6/conf

启动及界面

启动

首先启动Hadoop集群中的HDFS,YARN,HBase等相关组件。
然后在$HUE_HOME目录下:

  1. nohup build/env/bin/supervisor &

根据配置的端口访问,我这里是8888端口:

image_1ap6iqdhnjgjad6nmfoj7132n9.png-47.1kB

首次访问时,会让你设置用户名和密码,这个是超级管理账号。登陆后:

image_1ap6ismfpond15h41f8sme4nhvm.png-77.1kB

HBase界面

先要启动HBase的Thrift Server:

  1. % start-hbase.sh
  2. % hbase thrift -p 9090

image_1ap6iusb017c3145rvdeo3fuu1g.png-23.9kB

image_1ap6iudps1md9dqrbba13m61k0013.png-67.9kB

Hive界面

首先要启动HiverServer2

  1. % hiveserver2

image_1ap6j0fpatc5flsv8t1gdn1brr1t.png-36.3kB

Hive查询:

image_1ap6j18mi9js17fh54i1rhfvi72a.png-109.6kB

异常情况:

  1. Hive metastore异常:
  2. Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found

解决方案:安装sasl缺失的依赖,确保安装了以下依赖:

image_1ap6j8ath1p4m16mc1k7o2sk1aol3u.png-13.8kB

Sqoop作业

image_1ap6j9u8felt2bh15n4prpl64b.png-34.6kB

Pig脚本

image_1ap6jbqeh1uo77vs1qqne4seu64o.png-64.5kB

作业执行情况

image_1ap6j5pgv1fhj87al6v1gadums34.png-53.6kB

image_1ap6j62ok13m48e1rhl1ogemm33h.png-48kB

启动Spark-shell后:
image_1ap6j4r5n12tt1ihh1cvclbmbhk2n.png-51kB

文件浏览

image_1ap6jdll61u0l1fvic5a16er2rt55.png-151kB

参考资料

Hue项目:
http://gethue.com/
https://github.com/cloudera/hue

Hue安装配置实践:
http://www.tuicool.com/articles/zIrqemB

Hue3.9 Tarball安装:
http://blog.csdn.net/bluishglc/article/details/48393291

Hue安装及问题:
http://blog.csdn.net/wenlong237/article/details/19735603 http://blog.csdn.net/zhoujj303030/article/details/44832363
(完)

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注