hadoop各框架简介

Hadoop

HDFS（海量数据的存储）

• 集成在操作系统之上（Linux）

• 数据来源：RDBMS关系型数据库，logsr日志文件

  1.关系型数据库：Sqoop框架，使关系型数据库表中的数据与HDFS交互。
  2.日志文件：Flume框架，实时的抽取日志文件的数据到HDFS上。
  

MapReduce

• 运行在YARN上

• 数据分析

  1.使用java等编程语言，对数据分析
  2.使用sql对数据分析。Hive支持类似SQL（HiveQL）的形式。自动解析成MapReduce任务
  

YEAR（资源集成，资源管理框架）

ZooKeeper

• 一种分布式应用的高性能协调服务。
• 为HDFS提供2个namenode。当提供服务的namenode出现问题时。自动的启用备用的namenode。自动检测和故障转移
• 为YARN提供2个resourcemanager。功能类似为HDFS提供的2个namenode服务。

Hive

• Hive支持类似SQL（HiveQL）的形式。自动解析成MapReduce任务

HBase

• 支持结构化数据存储的可伸缩、分布式数据库。
• 海量数据的检索
• 数据建立在HDFS上

Spark

• 一个快速和通用计算的Hadoop数据引擎。提供了一个简单而富有表现力的编程模型，支持多种应用，包括ETL，机器学习，数据流处理，和图形计算。
• 运行在YARN
• 处理的结果存在内存中

Strom

• 实时的流式计算框架
• 运行早YARN上

任务调度框架

• Oozie
• Azakaben
• Zeso

集群的安装部署工具

• CM 5.x
• Ambari

在此输入正文