@xuemingdeng
2016-12-06T16:43:39.000000Z
字数 1532
阅读 1263
Amazon发布AWS Batch预览版
摘要：
在最近的AWS Re:Invent大会上，Amazon发布了AWS Batch的预览版。通过AWS Batch，用户可以对他们云端的调度服务和工作负载进行优化。Amazon推出这项服务是为了满足大量AWS客户的需求，他们基于EC2实例、容器和CloudWatch建立他们自己的批处理平台。
正文：
在最近的AWS Re:Invent大会上，Amazon发布了AWS Batch的预览版。通过AWS Batch，用户可以对他们云端的调度服务和工作负载进行优化。Amazon推出这项服务是为了满足大量AWS客户的需求，他们基于EC2实例、容器和CloudWatch建立他们自己的批处理平台。
批次和作业调度器并不是什么新的模式。一直以来，调度器都是运行在固定的本地基础设施集群上。人们要么过度构建基础设施，不能物尽其用，要么基础设施构建不足，造成机会的流失，这些都是不可避免的。AWS首席布道师Jeff Barr看到了基于云平台构建现代化调度平台的机会：
我们相信云计算可以让批处理计算模型变得更好，让它可以更快地访问更多不同类型的EC2实例，可以根据具体需求弹性地伸缩，并带来新的计费模型，这个计费模型根据实际处理能力来计费，经济实惠。
AWS Batch不需要在服务器端安装任何东西，而且可以动态分配计算资源，它可以加入Amazon Spot实例，这样就可以抢占Amazon EC2空闲的计算资源。AWS Batch服务还提供了作业优先级和依赖管理特性。Amazon希望客户可以把精力集中在业务需求上，让AWS Batch来处理剩下的事情。
在AWS re:Invent大会的“AWS Batch：在AWS上运行简单高效的批处理计算”讨论环节，AWS首席产品经理Jamie Kinney介绍了有关AWS Batch的几个概念：
- Jobs是作业单元，它们被提交到Job Queues，并按照优先级排序，一直待在队列里直到有计算资源来执行它们。
- Job Definitions指定如何执行Jobs。每个作业都需要引用一个Job Definition，Job Definition的参数可以被覆盖，包括vCPU、内存、挂载点和容器属性。
- Job Queues用来保存Jobs，直到它们被执行。Jobs会等待它们所依赖的Jobs执行完毕，或者等待分配系统资源。
- Compute Environments包括托管和非托管两种环境。在托管环境里，你可以提出业务需求（比如实例类型、对vCPU的需求量，等等），AWS将会为你启动和扩展资源。而在非托管环境里，你可以启动和管理自己的资源，比如容器。
- Scheduler对已提交到Job Queue的Jobs进行评估，评估它们在何时、何处以及如何被执行。Jobs几乎是按照它们提交的顺序来执行的，只要它们所依赖的条件得到满足。
Amazon提供了AWS Batch适用性指南。对于需要大量传递数据的场景，比如ETL或大数据处理，Amazon建议客户使用EMR、数据管道、Redshift或其它相关的数据处理工具。而对于存在很多小型调度作业的场景，可以使用AWS，不过Kinney认为客户“需要一个工作流或作业调度系统来管理这些作业。”
Kinney认为AWS Batch就是一个理想的工具，它特别适用于
那些在异构计算机上运行大量大大小小计算任务的客户。
AWS Batch目前还处在预览版阶段，只在美国东部（弗吉尼亚北部）地区可用。等到服务的可用性达到通用标准，就会在其它地区开放。根据AWS Batch的路线图，AWS Batch将在后期支持作业数组，并且可以使用AWS Lambda来执行作业。
