@feuyeux
2015-11-05T22:11:42.000000Z
字数 1026
阅读 1997
Mesos
InfoQ
云计算和大数据是这个时代的主题。这个主题是由数据挖掘、算法、微服务等具体的活动或者业务组成的,进而它们可以分解为离线或实时的任务。这些任务可能是长时间运行的、定时执行的,亦或是短时间内一次执行即结束的。每个任务都需要CPU和内存资源来处理,这些资源很可能是跨主机的,甚至是跨数据中心的。那么,面对光鲜亮丽的时代主题,我们该如何设计和实现任务的调度和资源的分配呢?答案是不需要这样做,因为我们有Mesos。
Mesos是为软件定义数据中心而生的操作系统,跨数据中心的资源在这个系统中被统一管理。Mesos非常智慧和优雅地以Framework的形式,提供了的两级调度机制,将任务的调度和执行分离。前面提到的各种类型的任务,在调度阶段,由Framework的调度器以资源邀约的形式向Mesos Master申请资源;在执行阶段,由Framework的执行器执行任务。Mesos帮助我们解决了错综复杂的任务调度和资源管理的问题后,我们可以专注于实现自己的任务,进而完成云计算和大数据业务。
Mesos的意义不知与此,它为我们带来了一个生机勃勃的生态环境。基于现有的Framework,我们可以使用Marathon跑长时间运行的(微)服务,使用Chronos运行批量任务,使用Spark做大规模数据处理,使用Cassandra实现数据存储。这些Mesos生态中的系统都基于两级调度机制,实现了Framework。Mesos的这种插件式的Framework,使其自身轻盈,使其生态蓬勃。
同Borg相比,Mesos更亲民,我们摸得着看得见;同Omega相比,Mesos更现实,曲调虽然不算高山流水,却能奏完每个篇章;与Kubernates相比,Mesos更成熟;Mesos之于Hadoop,计算模型上使用Spark超越了MapR,资源管理上,是YARN模仿的样板。
自2009年,诞生于加州大学伯克利分校的AMPlab,Meosos在不断地完善其生态系统。创始人Benjamin Hindman以首席架构师的身份,参与着Mesos背后的商业实体公司Mesosphere的建设,通过推出数据中心操作系统(DCOS)产品,不断降低Mesos的使用门槛,提高生产率;创始人Andy Konwinski和Matei Zaharia是Spark背后的商业实体公司Databricks的联合创始人。这样的生态体系和商业形式,为开发者带来了更多的信心和参与其中的兴趣。