@wanghuijiao
2021-11-01T10:18:54.000000Z
字数 7531
阅读 3132
数据标注流程&工具
快速调研
前言
- 参考资料
- 四步骤
- 调研
- 制定计划并实施
- 验证并优化
- 用户使用手册or教程
- 文档内容
- 说清楚流程包括什么细节，对应到工具实现
- 与原本的流程有何区别，为啥有改动
- 后续实施计划：by who do what? eg: whj 部署CVAT到服务器
- 正文：我们怎么定义这个流程
- 附录：别人咋做的
- 工具优缺点分析&个人建议使用哪个工具
- 目标是为了指导下一步：制定计划并实施
- 其他工具参考
- Hasty：
- 非开源工具
- 支持半自动标注，但是只能在网站上付费标注，有针对数据保护的措施，具体没看；亮点是能根据标注的图片优化模型，即越标，半自动标注结果越准确；
- 半自动标注支持导入自己的预训练模型
- 支持手动找错（根据输入，自动筛选符合要求的标注结果进行质检）和自动找标注错误
- 支持实例分割、语义分割、目标检测、图像分类等任务的标注
- 支持COCO、VOC、Hasty JSON等格式
- 个人评价：粗略浏览了下用户手册，文档完整，半自动标注功能看着很不错，可以节省很多标注时间，硬伤就是不开源。
- Hasty：
标注流程&工具
整体数据流程
- 整体介绍。
- 数据部分包含数据收集、数据标注、标注测试、数据样本库和数据处理等步骤。包含两个环，一个是从数据处理接入到模型训练测试后返回数据标注的环，该环表示模型训练测试后对于失败样例重新对数据进行标注后对模型优化的循环过程；另一个是在生产服务系统中，真实场景数据回流，通过该方式可以有效的解决线上数据特征漂移的问题。
- 有开源工具支持的项有数据标注和数据版本管理两项。数据标注部分推荐CVAT工具，数据版本管理推荐DVC工具。目前其他三项数据接入、标注测试、数据处理未调研到有开源工具直接支持。
数据收集
- 含义：指训练数据从哪里来，主要可以分为4种来源：
- 公开数据集：模型开发前期缺少真实数据的阶段，要先尽可能在符合要求的公开数据上进行训练。
- 数据采购&采集：假如钱到位，那么找公司采购真实场景数据是高效的做法。假如钱不到位，就得自行进行真实场景数据的采集工作。
- 数据回流：当模型已上线发布，在真实场景下运行，此时真实场景的数据可以回流到数据采集端，方便利用这些数据，尤其是算法出错的数据是模型精度提升的关键。
- 生成数据：机器人或者自动驾驶任务中比较常见，这些场景往往缺少真实数据，且存在长尾分布，可以通过数据增强，或者模拟生成数据。
- 数据采集或回流过程中，存在的问题
- 数据接入的问题，存在不同系统（Linux、Windows、树莓派...）、设备（直连多路本地摄像头、RTSP\RTMP网络视频源、USE摄像头）、不同类别（图片、视频、3D点云数据）等问题，即如何将数据从端采集设备自动加载到本地，方便后续标注。
- 抽帧策略管理。
- 目的&希望达成的效果
- 在四种数据来源中，最耗时且需要重复执行的操作是数据采集&回流，对这一功能进行规范化的自动操作将会大大提升工作效率。因此对于该步骤自动化有以下需求：
- 希望数据回流能够支持自动导入到目标地址
- 访问模型在线运行结果和回流数据
- 数据共享，多台机器访问同一批数据
- 在四种数据来源中，最耗时且需要重复执行的操作是数据采集&回流，对这一功能进行规范化的自动操作将会大大提升工作效率。因此对于该步骤自动化有以下需求：
- 用什么工具实现？
- 暂无开源工具实现
数据筛选
- 含义：从收集到的数据中筛选或清洗掉不合格的数据，留下有效数据。在实际生产系统运行时源源不断的回流数据需要合理有效的方法去利用。
- 希望做到的功能
- 通用清洗能力(默认对图像)：去相似，去模糊，裁剪，旋转，镜像
- 高级清洗能力：根据任务过滤，人脸数据集则自动过滤无人脸图片，人体数据集则过滤无人体图片，诸如此类。
- 用什么工具实现？
- 暂无开源工具实现
数据标注
- 数据标注工具
- 目的&目标
- 在对比标注工具时，重点关注的是对多人协同功能的支持，以及一些基础的标注功能的实现。
- 用什么工具实现？
- Computer Vision Annotation Tool（CVAT）
工具实现结果，重点关注的功能
- 多种任务标注支持，分割、分类、跟踪。支持矩形、多边形、多段线、点、长方体、Tag。
- 半自动标注：支持导入模型进行半自动标注。模型类型包括：检测器（用于目标检测自动标注）、交互器（半自动版主形状，用于分割）、跟踪器（半自动跟踪标注）、重识别（reid，将物体关联到一个跟踪器）。
- 多人协同，任务分发：在页面中可以将任务分配给不同人，还可以看到标注进展
- 多种任务标注支持，分割、分类、跟踪。支持矩形、多边形、多段线、点、长方体、Tag。
选择该工具的理由？CVAT优点有：
- 支持多人协作
- 能用于几乎所有CV相关标注任务
- 支持导入模型，进行半自动标注
数据质检
- 含义：对数据进行质量检测，通过提供客观指标，为对数据集的下一步操作（标注、训练等）进行参照引导。
- 指标如下（by百度）：
- 整体指标
- 数据集存储大小
- 图片数量
- 破损图像数
- 标签合格率
- 分布指标
- 色彩分布空间
- 图像存储大小分布
- 高宽比分布
- 分辨率分布
- 色偏分布
- 标注框宽高比分布
- 标注框面积分布
- ...
- 整体指标
- 目的
- 客观评估数据质量
- 用什么工具实现？
- 对于数据标签标注质量可以选择通过CVAT查看成员的标注结果，但是量化评估数据的各项指标暂无开源工具
数据版本管理
- 对数据集的增加、修改、删除、格式转换、发布等等操作进行跟踪和版本管理。
- 目的&目标
- 方便，操作简单，复现简单
- 用什么工具实现？
- DVC（Data Verion Control）: 这是一个数据和机器学习模型实验管理工具， 底层是基于Git实现的，但相对于Git，DVC的优点是能够跟踪和存储大文件（数据和模型权重文件），而这也是它能够支持数据集版本管理的基础。支持的存储方式包括本地、Amazon S3, SSH, Google Drive，Azure Blob Storage 和 HDFS等。所以说，用DVC管理数据集过程和共享方式基本与用Git管理代码的过程一样。
- DVC 仅支持到模型训练测试这一步，对于部署相关功能并不支持。
工具实现效果（类比Git）
- 数据版本管理：可跟踪大文件，数据集合机器学习模型。用Git的工作流（workflow），但在repo中不存储大文件。数据是单独存放的，这样便于分享。
- DVC相较于Git的优点是可以跟踪大文件、目录和ML模型文件等，且有与小文件同样的性能，比如1s访问100Gb的文件。
- 支持多种存储类型：本地，Amazon S3, SSH, Google Drive，Azure Blob Storage 和 HDFS 等。
- 数据获得：支持从外部项目试用数据产物（data artifacts），以及如何从另一个DVC项目导入数据产物（data artifacts）。可以下载机器学习模型的指定版本到部署服务器或者导入模型到另一个项目。
- 并非直接访问文件，而是通过Git存储DVC远程存储配置文件，然后通过访问Git项目作为进入点（entry point）。
- 数据流：描述模型和其他数据产物（data artifacts）是如何构建的，提供一种有效的方式复现他们。
- 不仅可以跟踪数据文件，还可以跟踪对数据做的操作，比如过滤、转换或用于训练模型等。简言之，跟踪整个操作流程，在别处复现的是整套操作。
- 比如：第一次运行时，单独运行每个阶段（
dvc run），命令中包含了输入、输出、操作以及该步骤的名称等等信息，然后这个过程会被自动记录在dvc.yaml文件中，二次运行的时候就直接一条命令dvc repro就可以把整个流程执行完了。 - 提供了可视化命令，可以显示出流程中每个步骤（应该是显示每个步骤的名称）。
- 数据版本管理：可跟踪大文件，数据集合机器学习模型。用Git的工作流（workflow），但在repo中不存储大文件。数据是单独存放的，这样便于分享。
选择该工具的理由？
- 第一，DVC支持对大文件跟踪
- 第二，DVC支持跟踪对数据做的操作，比如过滤、转换或用于训练模型，跟踪整个操作流，复现很方便。
个人体验
- 比较适用于数据集版本管理，模型超参数调参，但是并不支持部署相关的工作，可以在部署的机器上加载训练好的模型，但是部署直接相关的操作并不支持。
- 能够同时跟踪数据集（大文件）和模型训练的整个流程，这样挺牛的，因为模型的训练过程中其实数据集也在动态调整，能够将这俩关联起来就很方便。
DVC同样支持模型管理，但与MLflow相比，DVC有如下缺点：
- 多人协同：没有一个统一的界面管理多人模型，如何管理多人的模型，并显示模型的开发阶段（比如实验中，已发布，撤回等等）
- 部署支持：DVC 不涉及部署相关的任何支持
- 环境依赖：MLflow提供了对环境依赖的打包，方便一键复现，而DVC不支持。
数据处理
- 含义：把标注数据处理成训练集需要的格式，其次，该步骤包括预处理增强算子，比如Mosaic增强、Cutout数据增强、CutMix等。
- 为什么要有这一步&目标
- 有些模型数据输入要求二进制格式，即需要对图像进行转换操作，而这一步统一把这种操作叫做数据处理。
- 希望为同样的任务提供一个统一的库，包括格式转换、数据增强算子等，避免不同的开发者对不同任务多次重复做同样的工作。
- 用什么工具实现？
- 百度BML平台提供了40多种数据增强算子
- 一些通用的数据增强库：
- skimage
- OpenCV
- imgaug：操作更多(但相对opencv-python，代码简洁)，支持keypoint, bounding box同步处理
- Albumentations：添加下雨、下雪、雾效果
- Augmentor
- SOLT
- ImageEnhance： 4种操作颜色增强，对比度、色彩饱和度、色调、锐度
- 时间关系，暂时没有详细了解各个库的功能，后续如有需要，再深入了解。因此，该步骤，暂时没有工具支持。
附加功能：数据挖掘
- 假如人员充沛，对标注效率提高需求较大，后续可以考虑进行数据挖掘。数据挖掘是主动学习挖掘算法，针对不同任务进行针对性适配达到同样模型效果指标的数据标注量减少70%。
- 目的&目标
- 难例挖掘：从众多简单用例中找出可以提升性能的难例，参考到百度EasyData吧。
- 暂时没有找到开源工具支持
附录
DVC（Data Version Control）数据版本管理工具
五大功能
- 数据和模型版本管理 Data and model versioning：大文件，数据集合机器学习模型。用的Git的workflow，但在repo中不存储大文件。数据是单独存放的，这样便于分享。
- DVC相较于Git的优点是可以跟踪大文件、目录和ML模型文件等，且有与小文件同样的性能，比如1s访问100Gb的文件。
- 支持多种远程存储类型：Amazon S3, SSH, Google Drive，Azure Blob Storage 和 HDFS 等。
- 数据和模型获得 Access：如何从外部项目试用data artifacts，以及如何从另一个DVC项目导入data artifacts。可以下载机器学习模型的指定版本到部署服务器或者导入模型到另一个project。（就是移动加载？）
- 并非直接访问文件，而是通过Git存储DVC远程存储配置文件，然后通过访问Git repo作为entry point。
- 数据pipeline：描述模型和其他data artifacts是如何构建的，提供一种有效的方式复现他们。
- 不仅可以跟踪数据文件，还可以跟踪对数据做的操作，比如过滤、转换或用于训练模型等。 DVC跟踪Data Pipeline->DVC pipeline，然后用Git跟踪DVCpipeline？简言之，跟踪整个操作流程，在别处复现的是整套操作。
- 比如：第一次运行时，单独运行每个阶段（
dvc run），命令中包含了输入、输出、操作以及该步骤的名称等等信息，然后这个过程会被自动记录在dvc.yaml文件中，二次运行的时候就直接一条命令dvc repro就可以把整个流程执行完了。 - 提供了可视化命令，可以显示出流程中每个步骤（应该是显示每个步骤的名称）。
- 性能指标，参数和plots: 添加这些参数在pipeline中， 可以在git中捕获、导航和评估ML项目。（就是跟踪这些参数吧）
- collect、define、update and compare : 将性能指标、超参数等添加到pipeline的stage中，可以用dvc追踪、更新和比较这些参数，每个操作基本一条命令搞定，并且更新的时候，可以一键执行整个pipeline，且只更新需要更新的部分，对于参数比较多的实验调整起来很方便。
- 只比较两个实验
- Experiments：探索、迭代、比较各实验。跟踪实验自动版本管理和权重文件记录。比较参数和性能指标、代码、数据的不同。应用、删除、回滚、恢复、共享实验等。
- 支持一次开多组实验（超参数调参），命令行设置参数，然后一键开启多个实验
- 支持多组实验进行比较：DVC里面比较多组实验，然后只保留有用的那个到git中跟踪，也就是发布到工作区（git 分支），然后“在常规管道中持久化”（Let's make it persistent in our regular pipeline by committing it in our Git branch:）？就是说这个实验就保持不变了？
- 分享实验：远程存储实验是通过DVC存储实验数据，Git存储代码、参数和其他与实验有关的元数据。DVC支持本地存储、SSH、谷歌云、AmazonS3、HTTP等等；可以分享任何实验给别人，对应不同的命令，但基本与Git分享差不多，push一下就好了。
- 删除调试过程中无用实验
- 可视化界面功能
- 支持按提交的实验名称进行搜索，不像MLflow里可以根据指定的性能指标metric进行搜索（比如只看acc>90%的实验，这个不支持）
- 显示性能指标曲线plot
- 仅支持对两个实验进行自动比较不同之处，多组实验得肉眼看区别，但可以用plot显示曲线来比较性能，挑选最好的那组实验。
不支持以下功能
- 多人协同
- 没有一个统一的界面管理多人模型？如何管理多人的模型，并显示模型的开发阶段（比如实验中，已发布，撤回等等）？
- 部署支持
- 环境依赖
使用场景
- 存储或处理数据文件或数据集来产生新的数据或者模型：
- 跟踪并保存数据和机器学习模型，用你捕获代码的方式（就是说跟踪大文件）
- 创建和选择不同版本的数据和机器学习模型
- 理解数据集和ML Artifacts第一次是如何被建立的（built），（就是说可以复现整个数据处理的过程）
- 比较不同实验的模型性能
- 在数据科学项目中，应用工程工具和best practices
- 个人感觉
- 比较适用于数据集版本管理，模型超参数调参，但是并不支持部署相关的工作，可以在部署的机器上加载训练好的模型，但是部署直接相关的操作并不支持。
- 能够同时跟踪数据集（大文件）和模型训练的整个流程，这样挺牛的，因为模型的训练过程其实数据集也在动态调整，能够将这俩关联起来就很方便。
全栈机器学习 Data Management
分为5个部分
- 数据来源（Sources）: 训练数据从哪来
- 数据标注（Labeling）：如何大量标注专有数据
- 数据存储（Storage）：如何保存数据？主要内容包括：文件系统、对象存储、数据库、
Data Laker
- 每类存储方式对应存储什么类型的数据
- 二进制数据（图像、音频、压缩文本）以对象形式保存
- 元数据（Metadata）保存在数据库中
- 如果需要一些别的不能存在数据库的特征，就用数据湖
- 训练时数据要么存在本地，要么存在NFS中
- 每类存储方式对应存储什么类型的数据
- 版本控制（Versioning）：对自制数据集进行版本控制，以下作者推荐的两个Level
- Level 2：通过 assets 和 code 同时对数据进行版本控制
- 推荐使用的方式
- 大数据保存在文件系统中
- 训练数据通过JSON或类似的方式进行存储，即只存储标签、样本位置、用户行为等
- JSON可能很大，但可通过git进行版本控制。
- 可实现lazy功能，即等要用了再生成数据。
- git signiture就是我们数据库的版本，更多信息可保存在git message中
- Level3：推荐使用如DVC、Pachyderm、Dolt等专业数据版本控制工具进行管理
- Level 2：通过 assets 和 code 同时对数据进行版本控制
- 数据处理（Processing）：数据预处理生成训练数据
借鉴内容
- 借鉴了这5大部分的划分
NVIDIA机器学习平台MAGLEV：模型迭代闭环
- 根据实际需求参考了这个流程中两个循环：
- 部署前模型训练测试不通过时，返回数据筛选步骤
- 部署后生产环境数据回流数据源
Tesla Autopilot 数据引擎框架
- 根据实际需求主要借鉴
- 数据闭环
- 感觉Tesla更关注驾驶过程中的长尾分布，因此在数据来源后直接接入失误识别（identify an inaccuracy）来筛选出有用数据，相当于数据筛选功能；
- 其次，其后的数据增强，感觉在标注后对数据进行数据处理或增强操作也可以实现同样的效果，且能减少标注量。
谷歌waymo 数据闭环平台
- 根据实际需求主要借鉴
- 数据筛选（get selected）、数据挖掘（Data mining）
- 数据闭环
百度EasyDate数据服务
服务
-
- 数据回流功能简介：完成了AI应用生命周期的闭环，通过初试数据完成模型训练和服务部署，利用新采集的线上数据不断更新模型。通过该方式可以有效的解决线上数据特征漂移的问题。
-
- 采集：
- 摄像头管理与数据查看
- 数据挖掘
- 数据回流：从模型接口查看识别过的数据，按服务名称、时间、识别结果筛选数据，并将数据添加到数据集中，以进行下一步的数据清洗、标注。
- 清洗：
- 可以对数据集中的图片进行去模糊、去近似、旋转、镜像等多种基础清洗服务，以及过滤无人脸图片、过滤无人体图片等高级清洗服务。完成数据清洗后，可提升数据质量，方便进行下一步的数据标注等操作。
- 标注：
- 标签组管理
- 在线标注
- 选择数据集&版本
- 智能标注
- 启动智能标注
- 系统筛选难例
- 用户标注难例
- 完成标注，启动训练；or 重新进入下一轮难例筛选
- 多人标注
- 任务分发
- 选择数据集版本
- 选择标注成员
- 采集：
借鉴内容
- 试用该平台，主要参考各模块功能支持细节
- 采集：数据查看
- 标注：
- 标签组管理
- 在线标注：选择数据集和版本
- 智能标注：系统筛选难例
- 多人标注：
