主要由检测器跟踪器自动标签模块和输出机器标签并保存到磁盘的I/O模块组成

用于对象检测，对象识别和分割任务的自动注释解决方案。

你好，朋友们在这篇博文中，我想分享我们在使用人工智能技术独立生成数据标签方面的工作

在理解我们的方法之前，让我们先了解一下什么是外行术语中的数据标签在机器学习中，数据标注只是识别原始数据的过程)并添加一个或多个有意义和信息丰富的标签来提供上下文，以便机器学习模型可以从中学习和推断大多数最先进的机器学习模型高度依赖于大量标记数据的可用性，这是监督任务中的重要一步各种用例都需要数据标签，包括计算机视觉，自然语言处理和语音识别传统上，这种枯燥琐碎的数据标注过程很大程度上是由人类完成的为了帮助人类最大限度地减少从零开始的疯狂数据标记工作和努力，我们提出了一种自动算法解决方案，旨在减少大量的人工工作让我们来看看这种标签数据的实际位置的参考在这里，我将谈谈计算机视觉任务计算机视觉只是复制了人类视觉的复杂性和对周围环境的理解例如，计算机视觉任务包括获取，处理，分析和理解数字图像的方法，以及从现实世界中提取高维数据以生成决策形式的数字或符号信息的方法在计算机视觉领域，有许多不同的任务我就不深入讨论它们的细节了，比如分类，检测，分割等等但是，下图提供了这些任务的简明概述和目标，并提供了上下文中对象的示例—，香蕉

标签数据的上下文要求示例

监督模型检测对象ndash香蕉带注释的标签被输入到模型中，这样它就可以学习香蕉像素的表示，并在上下文中定位它们，然后可以用来推断看不见的/新的数据实例分割任务的目的是检测对象，定位这些对象，并提供关于它们的数量，大小和形状的信息我们用这样一个高级的细分模型例子——，屏蔽R—cnnrd quo，作为我们框架的核心骨干，我们可以根据他们的需求和目标使用任何其他网络架构我们坚持使用遮罩R—CNN，因为它可以检测图像中的目标，并为每个目标生成高质量的分割遮罩对于我们检测COVID感染的具体测试用例来说，感染区域的准确定位非常重要，因此像素级检测更适合这种情况

我们的方法

我们的工具流水线如下图，主要由检测器跟踪器，自动标签模块和输出机器标签并保存到磁盘的I/O模块组成。

步骤1:—用于像素级分类的目标检测和跟踪

自定义弱训练MASK—RCNN模型用于检测COVID感染，标注实例较少(lt，10个样本)为了标记感染区域，我们使用了VIA(VIA)图像标记工具它是一个简单而独立的图像，音频和视频手动注释软件VIA在网络浏览器中运行，无需任何安装或设置完整的VIA软件可以安装在一个独立的HTML页面中，该页面的大小不到400KB，在大多数现代网络浏览器中作为离线应用程序运行VIA是一个完全基于HTML，Javascript和CSS(独立于外部库)的开源项目VIA由视觉几何集团(VGG)开发，并在BSD—2下发布，这使得它既可用于学术项目，也可用于商业应用检测器用于获取遮罩，边界框和定位类别其次，利用中心跟踪算法对输入视频数据流上的多个感染区域进行跟踪和标记以下是我们的MASK—RCNN Covid检测器的一个片段步骤2:—逐帧标记数据来自预先训练的检测器模型的推断用于获得边界框的位置并创建JSON元数据一旦帧被使用掩模—RCNN分割，相应的感兴趣区域(ROI)将被生成此外，生成每个感兴趣区域的掩模，然后对整个图像帧进行轮廓检测然后，从等高线中提取(x，y)坐标最后，这些形状，面积和坐标属性被逐帧保存到磁盘上下面是我们自动阅卷算法的一个片段示例—冠状病毒感染检测和自动标记我们测试了我们的方法，目标是为Covid感染区域生成自动计算机标记机器生成标签和手动标注标签的结果如下所示可以看到，自动标注引擎生成了质量相当好的合成标签，可以用来重新训练对象检测模型，或者生成更多可以用于不同任务的标注数据

。

数据标注是一项非常艰巨的任务，也是监督学习通道的关键组成部分之一这是一项需要大量手工工作的任务然后，我们可以让大多数这些普通的，劳动密集型的，耗时的任务由机器自动驱动，目的是将大量的人工任务减到最少我们以直观的方式关注这个普遍性的问题，从而缓解标签有限的瓶颈或者需要从头标记大量例子的问题

注:—我们的工具目前正在进行alpha测试目前我们设计的框架是基于MASK R—CNN和VIA标注格式我们还打算扩展我们的原型，以包括不同的最先进的检测器，如YOLO和相应的YOLO兼容的注释格式此外，我们计划集成COCO注释格式值得将所有不同的图像注释集成为我们框架的一部分，并为工具提供不同的库，如Torch，TensorFlow，Caffe等