[关闭]
@cloverwang 2016-03-07T09:53:12.000000Z 字数 6643 阅读 4448

Python实现Linux命令xxd -i功能

Python xxd

一. Linux xxd -i功能

Linux系统xxd命令使用二进制或十六进制格式显示文件内容。若未指定outfile参数，则将结果显示在终端屏幕上；否则输出到outfile中。详细的用法可参考linux命令xxd。

本文主要关注xxd命令-i选项。使用该选项可输出以inputfile为名的C语言数组定义。例如，执行echo 12345 > test和xxd -i test命令后，输出为：

  1. unsigned char test[] = {
  2.   0x31, 0x32, 0x33, 0x34, 0x35, 0x0a
  3. };
  4. unsigned int test_len = 6;

可见，数组名即输入文件名(若有后缀名则点号替换为下划线)。注意，0x0a表示换行符LF，即'\n'。

二. xxd -i常见用途

当设备没有文件系统或不支持动态内存管理时，有时会将二进制文件(如引导程序和固件)内容存储在C代码静态数组内。此时，借助xxd命令就可自动生成版本数组。举例如下：

1) 使用Linux命令xdd将二进制文件VdslBooter.bin转换为16进制文件DslBooter.txt：

  1. xxd -i < VdslBooter.bin > DslBooter.txt

其中，'-i'选项表示输出为C包含文件的风格(数组方式)。重定向符号'<'将VdslBooter.bin文件内容重定向到标准输入，该处理可剔除数组声明和长度变量定义，使输出仅包含16进制数值。

2) 在C代码源文件内定义相应的静态数组：

  1. static const uint8 bootImageArray[] = {
  2.     #include " ../../DslBooter.txt"
  3. };
  4. TargetImage bootImage = {
  5.     (uint8 *) bootImageArray,
  6.     sizeof(bootImageArray) / sizeof(bootImageArray[0])
  7. };

编译源码时，DslBooter.txt文件的内容会自动展开到上述数组内。通过巧用#include预处理指令，可免去手工拷贝数组内容的麻烦。

三. 类xxd -i功能的Python实现

本节将使用Python2.7语言实现类似xxd -i的功能。

因为作者处于学习阶段，代码中存在许多写法不同但功能相同或相近的地方，旨在提供不同的语法参考，敬请谅解。

首先，请看一段短小却完整的程序(保存为xddi.py)：

  1. #!/usr/bin/python
  2. #coding=utf-8
  4. #判断是否C语言关键字
  5. CKeywords = ("auto", "break", "case", "char", "const", "continue", "default",
  6.              "do","double","else","enum","extern","float","for",
  7.              "goto","if","int","long","register","return","short",
  8.              "signed","static","sizeof","struct","switch","typedef","union",
  9.              "unsigned","void","volatile","while", "_Bool")   #_Bool为C99新关键字
  10. def IsCKeywords(name):
  11.     for x in CKeywords:
  12.         if cmp(x, name) == 0:
  13.             return True
  14.     return False
  16. if __name__ == '__main__':
  17.     print IsCKeywords('const')
  18.     #Xxdi()

这段代码判断给定的字符串是否为C语言关键字。在Windows系统cmd命令提示符下输入E:\PyTest>python xxdi.py，执行结果为True。

接下来的代码片段将省略头部的脚本和编码声明，以及尾部的'main'段。

生成C数组前，应确保数组名合法。C语言标识符只能由字母、数字和下划线组成，且不能以数字开头。此外，关键字不能用作标识符。所有，需要对非法字符做处理，其规则参见代码注释：

  1. import re
  2. def GenerateCArrayName(inFile):
  3.     #字母数字下划线以外的字符均转为下划线
  4.     #'int $=5;'的定义在Gcc 4.1.2可编译通过，但此处仍视为非法标识符
  5.     inFile = re.sub('[^0-9a-zA-Z\_]', '_', inFile) #'_'改为''可剔除非法字符
  7.     #数字开头加双下划线
  8.     if inFile[0].isdigit() == True:
  9.         inFile = '__' + inFile
  11.     #若输入文件名为C语言关键字，则将其大写并加下划线后缀作为数组名
  12.     #不能仅仅大写或加下划线前，否则易于用户自定义名冲突
  13.     if IsCKeywords(inFile) is True:
  14.         inFile = '%s_' %inFile.upper()
  16.     return inFile

以print GenerateCArrayName('1a$if1#1_4.txt')执行时，入参字符串将被转换为__1a_if1_1_4_txt。类似地，_Bool被转换为_BOOL_。

为了尽可能模拟Linux命令风格，还需提供命令行选项和参数。解析模块选用optionparser，其用法详见python命令行解析。类xxd -i功能的命令行实现如下：

  1. #def ParseOption(base, cols, strip, inFile, outFile):
  2. def ParseOption(base = 16, cols = 12, strip = False, inFile = '', outFile = None):
  3.     from optparse import OptionParser
  4.     custUsage = '\n  xxdi(.py) [options] inFile [outFile]'
  5.     parser = OptionParser(usage=custUsage)
  6.     parser.add_option('-b', '--base', dest='base',
  7.            help='represent values according to BASE(default:16)')
  8.     parser.add_option('-c', '--column', dest='col',
  9.            help='COL octets per line(default:12)')
  10.     parser.add_option('-s', '--strip', action='store_true', dest='strip',
  11.            help='only output C array elements')
  13.     (options, args) = parser.parse_args()
  15.     if options.base is not None:
  16.         base = int(options.base)
  17.     if options.col is not None:
  18.         cols = int(options.col)
  19.     if options.strip is not None:
  20.         strip = True
  22.     if len(args) == 0:
  23.         print 'No argument, at least one(inFile)!\nUsage:%s' %custUsage
  24.     if len(args) >= 1:
  25.         inFile = args[0]
  26.     if len(args) >= 2:
  27.         outFile = args[1]
  29.     return ([base, cols, strip], [inFile, outFile])

被注释掉的def ParseOption(...)原本是以下面的方式调用：

  1. base = 16;  cols = 12; strip = False; inFile = ''; outFile = ''
  2. ([base, cols, strip], [inFile, outFile]) = ParseOption(base,
  3.                          cols, strip, inFile, outFile)

其意图是同时修改base、cols、strip等参数值。但这种写法非常别扭，改用缺省参数的函数定义方式，调用时只需要写ParseOption()即可。若读者知道更好的写法，望不吝赐教。

以-h选项调出命令提示，可见非常接近Linux风格：

  1. E:\PyTest>python xxdi.py -h
  2. Usage:
  3.   xxdi(.py) [options] inFile [outFile]
  5. Options:
  6.   -h, --help            show this help message and exit
  7.   -b BASE, --base=BASE  represent values according to BASE(default:16)
  8.   -c COL, --column=COL  COL octets per line(default:12)
  9.   -s, --strip           only output C array elements

基于上述练习，接着完成本文的重头戏：

  1. def Xxdi():
  2.     #解析命令行选项及参数
  3.     ([base, cols, strip], [inFile, outFile]) = ParseOption()
  5.     import os
  6.     if inFile is '':
  7.         return
  8.     elif os.path.isfile(inFile) is False:
  9.         print ''''%s' is not a file!''' %inFile
  10.         return
  12.     with open(inFile, 'rb') as file: #必须以'b'模式访问二进制文件
  13.     #file = open(inFile, 'rb')       #Python2.5以下版本不支持with...as语法
  14.     #if True:
  15.         #不用for line in file或readline(s)，以免遇'0x0a'换行
  16.         content = file.read()
  18.         #将文件内容"打散"为字节数组
  19.         if base is 16:    #Hexadecimal
  20.             content = map(lambda x: hex(ord(x)), content)
  21.         elif base is 10:  #Decimal
  22.             content = map(lambda x: str(ord(x)), content)
  23.         elif base is 8:   #Octal
  24.             content = map(lambda x: oct(ord(x)), content)
  25.         else:
  26.             print '[%s]: Invalid base or radix for C language!' %base
  27.             return
  29.     #构造数组定义头及长度变量
  30.     cArrayName = GenerateCArrayName(inFile)
  31.     if strip is False:
  32.         cArrayHeader = 'unsigned char %s[] = {' %cArrayName
  33.     else:
  34.         cArrayHeader = ''
  35.     cArrayTailer = '};\nunsigned int %s_len = %d;' %(cArrayName, len(content))
  36.     if strip is True: cArrayTailer = ''
  37.     #print会在每行输出后自动换行
  38.     if outFile is None:
  39.         print cArrayHeader
  40.         for i in range(0, len(content), cols):
  41.             line = ', '.join(content[i:i+cols])
  42.             print '    ' + line + ','
  43.         print cArrayTailer
  44.         return
  46.     with open(outFile, 'w') as file:
  47.     #file = open(outFile, 'w')   #Python2.5以下版本不支持with...as语法
  48.     #if True:
  49.         file.write(cArrayHeader + '\n')
  50.         for i in range(0, len(content), cols):
  51.             line = reduce(lambda x,y: ', '.join([x,y]), content[i:i+cols])
  52.             file.write('    %s,\n' %line)
  53.             file.flush()
  55.         file.write(cArrayTailer)

Python2.5以下版本不支持with...as语法，而作者调试所用的Linux系统仅装有Python2.4.3。因此，要在Linux系统中运行xddi.py，只能写为file = open(...。但这需要处理文件的关闭和异常，详见理解Python中的with…as…语法。注意，Python2.5中使用with...as语法时需要声明from __future__ import with_statement。

可通过platform.python_version()获取Python版本号。例如：

  1. import platform
  3. #判断Python是否为major.minor及以上版本
  4. def IsForwardPyVersion(major, minor):
  5.     #python_version()返回'major.minor.patchlevel'，如'2.7.11'
  6.     ver = platform.python_version().split('.')
  7.     if int(ver[0]) >= major and int(ver[1]) >= minor:
  8.         return True
  9.     return False

经过Windows和Linux系统双重检验后，Xddi()工作基本符合预期。以123456789ABCDEF.txt文件(内容为'123456789ABCDEF')为例，测试结果如下： 

  1. E:\PyTest>python xxdi.py -c 5 -b 2 -s 123456789ABCDEF.txt
  2. [2]: Invalid base or radix for C language!
  4. E:\Pytest>python xxdi.py -c 5 -b 10 -s 123456789ABCDEF.txt
  6.     49, 50, 51, 52, 53,
  7.     54, 55, 56, 57, 65,
  8.     66, 67, 68, 69, 70,
  10. E:\PyTest>python xxdi.py -c 5 -b 10 123456789ABCDEF.txt
  11. unsigned char __123456789ABCDEF_txt[] = {
  12.     49, 50, 51, 52, 53,
  13.     54, 55, 56, 57, 65,
  14.     66, 67, 68, 69, 70,
  15. };
  16. unsigned int __123456789ABCDEF_txt_len = 15;
  18. E:\PyTest>python xxdi.py -c 5 -b 8 123456789ABCDEF.txt
  19. unsigned char __123456789ABCDEF_txt[] = {
  20.     061, 062, 063, 064, 065,
  21.     066, 067, 070, 071, 0101,
  22.     0102, 0103, 0104, 0105, 0106,
  23. };
  24. unsigned int __123456789ABCDEF_txt_len = 15;
  26. E:\PyTest>python xxdi.py 123456789ABCDEF.txt
  27. unsigned char __123456789ABCDEF_txt[] = {
  28.     0x31, 0x32, 0x33, 0x34, 0x35, 0x36, 0x37, 0x38, 0x39, 0x41, 0x42, 0x43,
  29.     0x44, 0x45, 0x46,
  30. };
  31. unsigned int __123456789ABCDEF_txt_len = 15;

再以稍大的二级制文件为例，执行 python xxdi.py VdslBooter.bin booter.c后，booter.c文件内容如下(截取首尾)：

  1. unsigned char VdslBooter_bin[] = {
  2.     0xff, 0x31, 0x0, 0xb, 0xff, 0x3, 0x1f, 0x5a, 0x0, 0x0, 0x0, 0x0,
  3.     //... ... ... ...
  4.     0x0, 0x0, 0x0, 0x0, 0xff, 0xff, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0,
  5.     0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0,
  6. };
  7. unsigned int VdslBooter_bin_len = 53588;

综上可见，作者实现的xxdi模块与Linux xxd -i功能非常接近，且各有优劣。xxdi优点在于对数组名合法性校验更充分(关键字检查)，数组内容表现形式更丰富(8进制和10进制)；缺点在于不支持重定向，且数值宽度不固定(如0xb和0xff)。当然，这些缺点并不难消除。例如，用'0x%02x'%val代替hex(val)即可控制输出位宽。只是，再加完善难免提高代码复杂度，也许会事倍功半。

添加新批注
在作者公开此批注前，只有你和作者可见。
回复批注