数据要素的加工体系从数据清洗、数据标注、数据审核到数据融合逐步成熟，其中数据标注是随人工智能技术崛起而快速发展的关键拐点。清洗、审核、融合等环节技术难度不大，多数数据运营商可自主完成；而标注环节因技术门槛相对较高，不少运营商会选择外包，专门为AI训练模型提供数据的标注产业由此加速成长。据Grand View Research统计，全球数据标注工具市场规模在2021年约为6.3亿美元，到2030年将超过50亿美元，年均复合增长率接近27%。

四步加工：成熟度并不整齐

数据加工是数据资源化的第一步，对采集和存储的数据进行筛选处理，提高可用性，为后续挖掘分析奠定基础。其过程主要包括四个步骤：

  • 数据清洗：校验数据、删除重复信息、纠正错误，提升数据质量。数据治理工具和多数大数据平台已能提供自动化清洗功能，例如百度的EasyData智能数据服务平台提供图片去模糊、图片去重等功能，以机器人和人工双重检验保证质量。
  • 数据标注：借助特定软件标注工具，以人工方式为图片、语音、文本、视频等打上特征标签。计算机通过大量学习这些带标签数据，最终形成自主识别能力。
  • 数据审核：对非结构化数据中的色情、反动、欺诈等非法内容进行审核，一般为机器与人工双重过滤。
  • 数据融合：将多源、多模态数据互相融合，形成可供挖掘分析的数据集。不同数据管理平台已开始集成多源异构数据融合与多模态数据挖掘功能。

总体来看，这些环节都比较成熟，技术难度不大，很多数据运营商可以自主进行。

关键拐点：AI崛起带动标注产业

真正的分水岭出现在标注环节。因为人工智能技术的崛起，专门为人工智能训练模型提供训练数据的标注产业随之快速发展，增速高于其他加工环节。这一环节相对存在一定技术门槛，因此不少数据运营商选择外包。

第三方数据服务商海天瑞声是AI数据标注领域的引领者。公司自成立以来持续为AI产业链各类机构提供算法模型训练所需的专业数据集：通过设计数据集结构、组织数据采集，并对原料数据加工，最终形成可供AI算法模型训练使用的专业数据集，以软件形式交付客户。经过多年发展，公司已成为具有较强国际竞争力的国内头部企业，实现标准化产品、定制化服务及相关应用服务全覆盖，训练数据涵盖智能语音、计算机视觉、自然语言等核心领域，服务于人机交互、智能家居、智能驾驶等创新应用场景。

常见问题

数据加工包含哪些步骤？

数据加工是数据资源化的第一步，过程主要包括数据清洗、数据标注、数据审核和数据融合等步骤，目的是提高数据可用性，为数据资源的挖掘和分析奠定基础。

为什么说数据标注是行业关键拐点？

人工智能技术崛起后，专门为训练模型提供数据的标注产业快速发展，增速高于其他加工环节。根据Grand View Research统计，全球数据标注工具市场规模在2021年约为6.3亿美元，到2030年将超过50亿美元，年均复合增长率接近27%。

数据加工环节的技术难度如何？

总体上各环节都比较成熟、技术难度不大，很多数据运营商可自主完成。相对而言，AI数据标注产业有一定技术门槛，因此不少数据运营商会选择外包给第三方数据服务商。