[关闭]
@lsmn 2015-12-24T06:47:22.000000Z 字数 1685 阅读 5131

将hadoop的计算和存储分开能有效的提升性能

Hadoop HDFS DAS 容器 虚拟机


摘要

2015年,将hadoop的计算和存储分开成为一个重要的Hadoop主题。大数据解决方案提供商BlueData今年发表过多篇关于这个主题的文章。来自Gartner的Merv Adrian年初也在Twitter上表示,该主题已经成为业内的一个主要议题。近日,BlueData副总裁Anant Chintamaneni回顾了他与EMC大数据解决方案首席技术官Chris Harrold就此议题举办的网络研讨会的内容。

正文

2015年,将hadoop的计算和存储分开成为一个重要的Hadoop主题。大数据解决方案提供商BlueData今年发表过多篇关于这个主题的文章。来自Gartner的Merv Adrian年初也在Twitter上表示,该主题已经成为业内的一个主要议题。近日,BlueData副总裁Anant Chintamaneni回顾了他与EMC大数据解决方案首席技术官Chris Harrold就此议题举办的网络研讨会的内容。

从众心理导致人们将雅虎、Facebook或LinkedIn等早期大数据采用者的大数据实现方式视为实现大数据的唯一方式。大数据生态系统使得Hadoop成为下述内容的代名词:

Anant认为,现在该废弃这些原则了。他给出了一种更好的实现大数据的方式,如下图所示:

此处输入图片的描述

新方法的指导思想主要有以下几项内容:

Anant用BlueData一个客户的测试数据说明了新方法所带来的性能上的提升。图一是本地虚拟化Hadoop集群与物理Hadoop集群的对比:

此处输入图片的描述
(图一)

可以看出,虚拟化Hadoop集群的性能比得上或超过了物理Hadoop集群的性能。图二比较了使用共享存储和DAS的虚拟化Hadoop集群:

此处输入图片的描述
(图二)

可以看出,企业级NFS的性能要高于基于DAS的HDFS系统。

最后,Anant将网络研讨会的共识总结为以下几点:

Anant期待更多的大数据部署使用共享存储,更多的部署使用容器和虚拟机,更多的企业将Hadoop的计算和存储分开。

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注