基于大数据的实时业务监控和预警平台

白凡

讲师 | 李文京 - 东方龙马
编辑 | 白凡

今天分享的是有关银行运维方面，基于大数据的实时业务监控和预警系统解决方案。

1. 平台建设背景和主要目标

分享的重点是这个平台，叫做基于大数据业务实时监控与预警。平台建设的背景和目标会从以下方面展开：

1.1 展示业务交易状况和IT状况

目前性能管理很流行，尤其是从网络的角度，通过网络镜像，通过解包进行交易。交易还是偏传统运维维度，所展示的业务跟交易有区别。举个例子，业务是类似于一个银行，如果新上线一种业务，比如说E户通，每天开户的个数是多少，金额是多少，那么这个E户通业务，对已有的业务有什么冲击。

1.2 分析跟监控操作行为

分析跟监控操作行为，尤其是分析用户的行为。很多行为是存在风险的。这个风险其实有一定的特点，如果在做一个违规操作的话，在后端是差不多的。所以通过分析行为，做一些有效的预警，提供实时的风险处理能力。

这种分析跟BI是不一样的，BI是先入库再做分析，有一些跟用户行为相关的，比如说通过一个渠道在一个应用里面做查询，去搜索感兴趣的东西，这个行为在数据库里面不一定有纪录。而这种信息对行为分析是有价值的。

1.3 平台展现的功能

机器数据识别。平台采集机器的数据有两类：

• 脚本的运维输出
• 日志。尤其是应用的日志。

日志其实不见得有每一笔交易最最详细的信息，但是日志是里面有很多用户行为的相关信息

一个大企业尤其是一个银行，每天所产生每笔业务，每笔业务之间所产生的架构联系，最好应用到一个虚拟的空间中。

这种方式有几个优点：

• 单个应用出现了问题会影响到其他哪些应用，影响的深度有多广
• 新的业务或新的措施施行，对已有业务的是否带来积极作用，甚至造成负面影响

2. 平台架构介绍

架构最主要的就是四个方块：

1. 数据采集的平台，上图中左下角蓝色部分。机器数据中包含日志，运维的脚本等等，这些运维的输出和日志解出来的结果，在这个模块里面做预处理成半结构化的数据，然后把数据映射到后端的消息队列中去。主要功能包括将脚本放在平台管理，日志通过平台的算法，解析成半结构化的数据铺设到云端队列中。
   

2. 实时处理的平台，位于右下角。可以理解成支持开发的一个小框架，是一个在线流处理。主要功能是分解聚合数据平台传输过来的消息，是东方龙马独创的算法。模块会进行调度，每个要分析想要输出的过程的代码，都要实时计算，所以对于机器的性要求比较高，可能在处理的PC业务装配的256G的内存。
   

3. 实时页面展示板，位于右上角。这个展示板不像传统的页面那样，如果想展示动态的信息可能需要比较经典的反馈结果。我们这边在后端开启了很多通道，只要有数据的更新就实时更新到前端。
   

4. 分析平台，位于左上角。这个平台不但有实时的分析，还有历史的分析。这块会提供一些规则的阈值，来帮助更好的判断。运维这个平台有大量的信息被浪费了，通过分析的平台把它做数据挖掘，将数据推送给数据分析师和产品服务，更好的帮助业务。
   

3. 实施成果

项目实施成果图：

3.1 业务和交易监控平台

全局的业务监控基于交易监控，或者说交易监控的目标是偏向于性能管理。我们发现一个或者一种交易在某个时间段，响应时间会通过一系列的方式找到他们之间的关系，反应这个企业所经营的态势，一般想看全局的可能都是公司的上层。

运维监控就是在平台里面做展现，数据报送就是要求每个银行上报一些交易量之类的信息，这个信息如果使用我们平台之后，他们一般去报送是以我们这个数据为准。

3.2 业务监控模式

银行上线一个新的业务，新的业务自从开始到现在的业务量有多少，每天产生的业务量有多少，包括做这个业务的电子替代率。右上边这个是柜员机，可能银行花了很多的钱去投入在智能终端或者超级终端，到底投了钱之后，有多少人在用呢，领导从这里就可以看到曲线的增长。

左下角是南方的银行做的一个存贷款利润跟分布，根据一些大数据的算法，最后决定在某一个分支机构建立支行，他的支行业务跟我们想象的不太一样，通过平台可以反映出存款、贷款和利润等业务指标。这个右下角这边就是一些预警，定义了40种或者50种的预警，每个预警包含业务异常。

举个例子，比如说在一个银行发现有一个帐户，这个帐户每天频繁的做转帐，转了几百笔，而且每笔都是3000块，5000块，后来发现以这位仁兄作为法人的企业贷款，就发现这个仁兄风险很高了，后来发现这位仁兄在用这个贷款做类似于传销的组织。我们可以支持很多的大屏，每个屏都是动态的业务数据，基本是几类：

• 一类是体现业务
• 一种类型是体现传统的运维PPI
• 最后是把交易类型作为展现

怎么去定义日常的非正常行为？频繁交易是一种，指的跨行200以下，交易10笔以上，50元以上，交易5笔以上，这是通过服务器里面算出来的。

这是我们频繁交易的图，每一种都是代表一种具体的预警规则所做的一个预警项目。

每天频繁的转帐，转帐的金额都差不多，多少多少笔，另外有些企业可能会跟公安系统做一个接口。有一些帐户所对应的人，是需要做重点的监控的，那么他们可能会在境外，每天一台ATM机里面做交易，我们做详细的监控，跟公安系统办案可以有效的结合。

3.3 业务数据分析

3.3.1 实施业务分析

数据分析这块，下面这个展板可以在线的展示，贷款利率比较低的风险监控，像银行排号机业务监控，还有银行机构分布图，从业务上讲怎么看它符不符合预期。

这个是一个动态图GIF，这个银行每时每刻发生的每一笔转帐，转帐是转到什么地方去，通过什么渠道，超级网银或者是支付宝。

3.3.2 移动业务数据分析展示

做到第二期的时候，做到了业务监控的移动APP，将许多分屏指标分开显示了。比如说总行的业务PPI，或者有关运维的PPI。

3.3.3 历史业务数据分析

除了当前业务数据分析，还有历史的服务器，所以可以进一步分析一下客户的资金流向，他为什么要做这样的流向呢？他是用于贷款还款还是怎么样？只要有这些历史数据，是可以做很多的事情的。

4. 东方龙马

最后提一下龙马公司，龙马1995年成立，今年第21个年头，我们主做数据库，中间件基础跟高级的服务，另外我们做大数据，就是我讲这个平台是在大数据的领域。另外我们做全系列运维管理，包括自动化运维，包括性能管理。

我们在北京、上海、广州跟成都有四个分公司，另外我们在上海的万象城有一个专门做性能管理的研发团队，我们在西南成都有做大数据的预警的团队。