suse实习——hb_report源码分析

suse实习 周报 shell crmsh hb_report

前面大概分析了crmsh的源码，后面我的工作就是把crmsh中的hb_report改称用python实现，现在使用的hb_report是用shell实现的，很有挑战性，因为bash和python都不熟悉。

为什么要再用python重写一遍

这个问题，我刚开始也很迷惑。因为目前hb_report可以完成期待的工作。而且hb_report并不是任何一个产品的feature。我去问crmsh的作者，他具体说了三点：
* 为了减少产生bug的风险，crmsh和hb_report工作起来有点类似（因为都是去读集群的状态吗？）
* 目前的hb_report结构杂乱无章，可能因为不停的打patch然后导致的，也会出现一些新的bug，如果使用更加结构话的语言实现更方便调试
* 用python重写方便未来添加一些新的feature

什么是 hb_report

根据man手册，hb_report是一个Pacemaker或者Heartbeat错误报告工具。它负责收集指定时间内集群相关的信息（包括日志、集群配置文件和系统信息等和），然后压缩成bz2和tar压缩包（也可以选择不压缩）。当集群中的某些节点以某些不知名错误被fence，这个工具可以用来收集出错时刻节点的信息。
其他的详细的信息参见传送门：hb_report man手册

hb_report调试和执行逻辑

为了更好的理解hb_report的执行逻辑，调试了hb_report，调试真的是一个很好用的工具，代码运行起来更容易理解了。

hb_report调试

crmsh是用python实现，调试器使用pdb，使用命令和gdb差不多吧。

启动pdb调试器

python -m pdb *.py

pdb调试器详细用法及命令参见传送门：pdb官方手册

hb_report调试

打开man手册得到hb_report的用法，hb_report -f 3:00 -t 4:00 -n "node1 node2 node3" report表示收集从3：00开始到4：00，node1、node2和node3上的infomation，并命名为report存储在当前工作目录。
打印出当前系统环境变量的PATH变量，然后找到hb_report可执行文件的路径。

# echo $PATH
>>>/sbin:/usr/sbin:/usr/local/sbin:/root/bin:/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:/usr/games
# find / -name hb_report
>>>/usr/share/crmsh/hb_report
>>>/usr/share/crmsh/hb_report/hb_report
>>>/usr/sbin/hb_report
>>>/usr/src/crmsh/hb_report

这样就得到了hb_report的入口在/usr/sbin/hb_report，并且该文件是用shell实现的，先打开bash调试参数，输出脚本的执行过程。

# bash -x /usr/sbin/hb_report -f 3:00 -t 4:00 -n "node1 node2 node3" report
>>>++ ps -o comm= 6091
>>>+ PARENT_COMMAND=bash
...
>>>+ crm report -f 3:00 -t 4:00 -n 'shiwen1 shiwen2 ' report

最后一行表示hb_report实际上就是crm report，而且crm是用python实现的，bash不能调试这部分。
使用find命令找到crm的路径

find / -name crm
>>>/usr/sbin/crm
>>>/usr/src/crmsh/crm
>>>/var/cache/crm
>>>/etc/crm
>>>/run/crm

得到crm的路径是/usr/sbin/crm，启动pdb调试器。

python -m pdb /usr/sbin/crm report -f 3:00 -t 4:00 -n "node1 node2 node3" report

crm的执行流程参见传送门：crmsh阅读笔记， 此处不再赘述。在前面crm分析中提到，crm每一个命令的实现使用command_info.function方法封装，report命令的command_info.function创建子进程执行/usr/share/crmsh/hb_report/hb_report，父进程等待子进程退出。
/usr/share/crmsh/hb_report/目录下的文件就是hb_report的源码实现，用shell实现。调试这个shell脚本。

bash -x /usr/share/crmsh/hb_report/hb_report -f 3:00 -t 4:00 -n "node1 node2 node3" report

hb_report执行流程（一部分）

• resource一些环境相关的脚本
• 执行utillib.sh模块中的findlogdcf函数查找logd.cf文件
• 执行utillib.sh模块中的init_tmpfiles函数创建temp files，如果创建不成功打印错误信息并退出（执行EXIT信号）。
• 判断第一个参数是不是__slave，如果是，激活SLAVE参数。
• 判断是否有参数，如果没有参数，则屏幕打印usage消息。
• shell嵌入perl语言执行了一些工作（没看懂，后来再看），根据user输入的时间，生成一个数字，暂时当作随机数来看。
• 判断上面的perl语言是否成功的生成了数字，如果没有，打印错误信息退出。
• 查看是否系统安装了which命令
• 在当前目录下创建临时目录，名称是.hb_report.workdir.XXXXX，后面是随机生成
• 保存临时目录的值在WORKDIR变量中
• 使用getopts命令解析第一个数，根据不同的参数执行不同的动作。根据前面给出的hb_report使用示例，这里解析参数分别是-f、-t和-n。-f表示开始时间，调用str2time函数，传入参数3：00执行了一些没看懂的工作，给FROM_TIME赋值。-t表示结束时间，调用str2time函数传入参数4：00执行了一些工作，给TO_TIME赋值。-n表示节点列表，把解析出来的节点参数赋值给USER_NODES。解析参数结束。
• 判断是否输入了dest参数用来指明存储生成文件的位置，缺省表示当前目录。
• 在之前生成的temp目录下创建report子目录,并且测试创建动作是否成功。
• 测试是不是slave节点，如果是slave，查看report目录下的.env文件。
• 查看是否开启了debug模式（加了-v参数），如果是，打印提示信息到屏幕。
• 得到crm daemon、pacemaker和crm configure文件的目录
• 检测cluster的类型（openAIS或者Heartbeat）,或者是用户指定类型，根据不同的类型执行不同的support脚本。、
• 获取节点的log信息
• 为得到的log信息文件命名
• 处理cluster node list，并且判断输入的node name是否合法
• 测试从master到slave ssh服务是否可用，如果不可用打印信息退出（hb_report认为运行hb_report脚本的cluster node是master node，其他的是slave node）
• 收集每个slave上的log
• master创建新进程去slave收集信息，master wait进程结束
• master分析收集到的文件是否是空
• 结束

hb_report模块详细分析

现在是2016年09月28日14：51分，hb_report源码第一遍大概读完了，值得纪念一下。

hb_report目录下有四个脚本，hb_report脚本、utillib.sh脚本、ha_cf_support.sh脚本和openais_conf_support.sh脚本，都是shell实现。其中hb_report脚本是入口脚本，他负责整个hb_report的逻辑调用，其他脚本都是各种各样的函数实现。

hb_report 脚本

前面说了，hb_report是入口脚本，负责hb_report的全部逻辑。这个脚本中也实现了一些函数，下面是实现的大部分函数的分析。

start_collect_info函数实现

• 参数：cluster node name
• 功能：负责收集参数指定的node上log信息。
• 执行流程：判断如果参数node是master，打印提示信息并运行/usr/share/crmsh/hb_report/hb_report __slave脚本负责收集信息；如果node是slave，打印提示信息，ssh到node上并运行/usr/share/crmsh/hb_report/hb_report __slave脚本。

findsshuser函数实现

• 参数：空
• 功能：找到从master到slave的ssh用户，hb_report允许用户指定ssh用户，此函数测试master使用指定的用户或者默认用户能否远程连接到slave上。
• 执行流程：为局部变量try_user_list赋值，用户指定的ssh_user或者默认user（缺省值是root和hacluster）。for循环调用testsshconn函数测试master到每一个slave是否可以建立远程连接。

getlog函数实现

• 参数：
• 功能：从log中得到指定时间内的信息
• 执行流程：得到输出文件的路径，调用collect_journal函数从systemd收集日志。检测用户是否指定了合法的log文件。

compatibility_pcmk实现

• 参数：
• 功能：调用get_crm_daemon_dir函数得到pacemaker 的daemon目录，错误判断。调用get_pe_state_dir得到pacemaker的位置，，调用get_cib_dir得到crm的configure文件。测试集群使用ptest或者crm_simulate来管理pacemaker资源的，导出上面得到的这些数据。

is_collocter

• 参数：空
• 功能：测试这个结点是不是slave节点。运行hb_report命令的节点认为是master节点，其他的节点都是slave节点。不明白是怎么区分的，也不明白为什么要一直test。

ha_cf_support 脚本

openais_conf_support 脚本

utillib 脚本

utillib.sh脚本中没有可以直接执行的语句，全部是函数的实现。下面是函数的具体解释。

get_cluster_type实现

• 功能：根据process列表和配置文件，得到cluster的类型（类型有两种openAIS或者Heatbeat）

findlogdcf实现

• 参数是 /etc和/etc/ha.d
• 功能：找到logd.cf文件，若找不到打印错误信息。
• 执行流程：定义一个局部变量f，检测/usr/lib64/heartbeat/ha_logd是否存在并且执行位是否已打开，测试strings命令是否存在，。

init_tmpfiles实现

• 功能：使用mktemp命令创建temp files，如果不成功，打印错误信息退出
• 执行流程：很简单，调用mktemp命令，在/tmp目录下创建一个temp文件，文件名随机。如果用户输入了ctrl+c或者ctrl+d，删除创建的文件。如果创建过程出错，打印错误信息并退出。

debug实现

• 实现功能：检测调试标志（VERBOSITY）,然后打印出debug信息。

其他模块

做一些环境初始化的工作，比如先测试相关的命令，相关函数是否存在，配置文件是否存在等等。