数据引擎 DSL 编写说明

DSL 又称领域特定语言，旨在用特定的语言组织描述并解决某个特定领域下的问题。

0. 想解决的问题

通过定义注册数据引擎 DSL ，源数据库表，目标数据库表信息，经由数据引擎解析调用，完成针对源数据的提取处理传输（ETL）工作。

项目地址： http://git.sy/infrastructure/data_engine

1. 主要名词说明

1. scope - 单个数据库表域，如 patient.patient_master_info 和 visit.visit_record 可分别作为不同 scope 看待，不同的 scope 之间存在关系，如 patient_master_info 是 visit_record 的父 scope，遵循实际表数据关系
2. 源数据库表 - DSL 定义的变量数据来源
3. 目标数据库 - 保存提取和处理后的数据

2. 工作流程

• 根据需求定义 DSL (手动)，示例如下

def var 入院时间 scope visit_record <= sql(fmop.visit.visit_record.visit_time);

• 定义注册 scope (手动)，示例如下

// 定义 scope
let visitScope = new Scope('visit_record');
let parentScope = new Scope('patient_master_info');
// 定义 scope 之间的关系
visitScope.setParent(parentScope);

• 提取 DSL 变量并注册到引擎（自动，但目前需要将文件放在指定的 /server/scheduler/variables 文件夹中）
• 定义注册源数据库，表和表关系信息，这一步是为了提取数据
  
  • 定义环境变量 DATASOURCE，示例 postgres://user:password@localhost:port/database
  • 定义表信息，详见 scheduler.registerDatasource 方法
  • 定义表关联信息，详见 scheduler.registerDatasource 方法
• 定义注册目标数据库，表信息，需要与 DSL 变量匹配，详见scheduler.registerDataTarget 方法
  
  • 定义环境变量 DATATARGET，示例 postgres://user:password@localhost:port/database
• 将要提取的病人标识列表存入 *.json 文件中，供引擎读取使用（将来由调度器自动实现）

3. 基础语法

def var $VARIABLE_NAME type $TYPE_NAME scope $SCOPE_NAME <= $EXPRESSION;
#def var $VARIABLE_NAME type $TYPE_NAME scope $SCOPE_NAME <= $EXPRESSION; 

以 $ 开头的单词代表用户自定义或是系统指定的几种类别，# 代表注释。

1. $VARIABLE_NAME
   用户自定义变量名称，如 patient_id 或 病患标识，可以在 $EXPRESSION 重复使用
2. $TYPE_NAME
   变量类型，系统目前支持 any,bool,number,text,time,timeSpan,integer
3. $SCOPE_NAME
   即上文中的 scope，scope 目前可省略，此时默认为表的全局 scope，即 patient
4. $EXPRESSION
   简单来说，$EXPRESSION 可看成是各种 $EXPRESSION 的组合。是比如数字 1 就是一个 $EXPRESSION，同理 1 + 1 也是一个 $EXPRESSION，$EXPRESSION 之间通过操作符，函数和操作过程连接。
   系统中支持的操作符包括 +, -, *, /, >, <, ==, AND, OR, LIKE, UNION，函数包括 sql(), any(), min()，操作过程包含 select $EXPRESSION where $EXPRESSION end 以及 CASE WHEN $EXPRESSION THEN $EXPRESSION WHEN $EXPRESSION THEN $EXPRESSION ELSE $EXPRESSION end

4. 示例

• 提取 patient_id，fmop 代表数据库名称，暂时固定。patient.patient_master_info.patient_id 代表完整的字段路径，即 patient schema 下 patient_master_info 表的 patient_id 字段。使用了 sql 函数。

def var patient_id type integer scope patient <= sql(fmop.patient.patient_master_info.patient_id);

• 提取性别，使用 sql 函数

def var 性别 scope patient <= sql(fmop.patient.patient_master_info.sex_name);

• 提取出生日期

def var 出生日期 type time scope patient <= sql(fmop.patient.patient_master_info.birth_date);

• 提取入院时间 ，使用了 min 函数和 sql 函数组合

def var 入院时间 scope visit <= sql(fmop.visit.visit_record.visit_time);

• 提取首次入院时间 ，使用了 min 函数和 sql 函数组合

def var 首次入院时间 type time scope patient <= min(sql(fmop.visit.visit_record.visit_time));

• 提取首次就诊年龄，重复使用了上述已经定义过的变量以及 - 操作符

def var 首次就诊年龄 type integer scope patient <= var 首次入院时间 - var 出生日期;

• 提取首次肺癌确诊日期，使用操作过程 select

def var 首次肺癌确诊日期 type time scope patient <= select min(var 入院记录) where var 诊断为肺癌 == true end;

• 提取是否诊断为肺癌，使用操作过程 case when

def var 是否诊断为肺癌 type bool scope patient <= CASE WHEN var 诊断为肺癌 == true THEN true WHEN var 诊断为肺癌 == true THEN true ELSE false end;