@emac 2015-11-26T09:39:46.000000Z 字数 3597 阅读 6085

架构

Cruiser （批处理任务调度系统）

版本：1.1

[术语定义]

任务：如无特殊说明，任务等同于批处理任务

客户端：各类使用BPMS的应用统称，如mobile, web, admin等

系统：指代BPMS

1. 业务需求

集中式管理所有任务（查看，暂停/恢复）
任务执行结果报表
告警系统（任务调度/执行失败，系统运行异常，etc.）
任务调度失败时的重试策略

1.1 任务的幂等性

由于一些系统性（系统，网络，应用）的不可靠性，任何一个任务不可避免的存在失败的可能性。当一个任务执行失败时，最简单有效的应对策略就是重新执行，这就要求任务本身具备幂等性，也即多次执行不会产生副作用。

1.2 支持的任务类型

作为第一阶段的目标，系统仅支持业务相关的任务，自定义任务将在后续版本支持。任务在客户端执行，而非系统。

2. 技术指标

2.1 可靠性指标

系统可用性：99.9%
任务调度成功率：99.9%

2.2 性能指标

任务调度延迟时间：<100ms

3. 架构选型

3.1 调度框架

Akka Scheduler
- http://doc.akka.io/docs/akka/2.4.0/scala/scheduler.html
Quartz
- http://quartz-scheduler.org/
- https://github.com/mchv/play2-quartz
Spring Batch
- http://projects.spring.io/spring-batch/
TBSchedule
- http://code.taobao.org/p/tbschedule/wiki/index/

3.2 协同框架

ZooKeeper
- http://zookeeper.apache.org/
Redis
- http://redis.io/
Fourinone
- https://code.google.com/p/fourinone/

3.3 参考实现

Luigi：实现了一个Python版的任务注册中心，不支持任务分片和调度。
- https://github.com/spotify/luigi
CronHub：用于监控集群中的大量crontab任务，作者已停止开发，只有一篇Get Started文档。
- https://github.com/sharpstill/CronHub
Elastic-Job：从当当内部ddframe项目开源出来的一个分布式任务调度平台，基于Quartz和Curator实现，于今年9月份开源。
- https://github.com/dangdangdotcom/elastic-job
- 新一代分布式任务调度框架：当当elastic-job开源项目的10项特性

4. 系统设计

4.1 系统架构图

架构设计

4.1.1 任务的定义

一个任务包含如下属性，由category+name唯一确定：

category：任务类别。String类型。
name：任务名称。String类型。
description（可选）：任务描述。String类型。
multi（可选）：是否允许多实例执行。Boolean类型，默认为false。
trigger：任务触发规则，仅支持cron表达式。String类型，参考Quartz的CronTrigger定义。
keyword（可选）：任务关键词，包含在系统发送的任务调度命令中，用于在客户端识别并执行相应的任务。String类型，默认为“category-name”。

4.1.2 消息的定义

一条消息包含如下属性，以JSON格式传递：

msg_id：消息ID
msg_type：参见4.1.3 消息的类别。String类型。
msg_body：消息体，由消息类别决定。String类型，JSON格式。
reply_to：源消息ID（仅适用于result类别消息）
client_token：客户端token，用于客户端对系统消息鉴权。String类型。
server_token：系统token，用于系统对客户端消息鉴权。String类型。

4.1.3 消息的类别

客户端发送给系统：

conn：连接请求
reg：注册任务请求
result：结果反馈

系统发送给客户端：

run：执行任务请求
result：结果反馈

4.2 通讯机制

一套高效，可靠的通讯机制是保证整个系统正常运行的基础。根据连接方式的不同可分为基于长连接和基于短连接的两套方案。

为简化系统设计，由客户端保证与系统的连通性。

长连接方式下，当连接断开时，由客户端发起重连请求。
短连接方式下，由客户端定时发起心跳请求。

客户端职责：

保证与系统的连通性。
与系统建立连接后，将任务注册到系统中。
接收系统调度命令，执行相应的任务，并将结果异步返回给系统。

系统职责：

维护完整的任务列表和对应的客户端列表。
接收客户端连接和任务注册请求，并将结果异步返回给客户端。
根据任务触发和执行规则，发送任务执行请求到相应客户端。

4.2.1 长连接+消息通讯

客户端发起长连接请求，系统收到请求后，开启一个新的线程维持该长连接，并通过此连接与该客户端的进行双向通讯。

可选框架：

Play WebSockets
- https://www.playframework.com/documentation/2.4.x/ScalaWebSockets
Atmosphere
- https://github.com/Atmosphere/atmosphere

4.2.2 短连接+服务调用+心跳检测

与长连接方式相比，增加心跳检测机制（客户端发起），帮助系统维护一个活动客户端列表。