原始数据要真正成为可用的生产要素，需要先后走完资源化与产品化两个阶段：前者对应数据加工，后者对应数据分析。数据加工是数据资源化的第一步，主要对企业采集和存储的数据进行筛选和处理，提高可用性，并为进一步的挖掘与分析奠定基础，其过程主要包括数据清洗、数据标注、数据审核、数据融合等环节。整体来看，这些加工环节已较为成熟、技术难度不大，多数数据运营商可以自主完成；而随着人工智能技术崛起，专门为AI训练模型提供训练数据的标注产业加速成长，成为其中增速更高的细分环节。

一、资源化：数据加工打底

数据加工的意义，在于把散乱、重复、含错的原始数据变成“能用”的数据资源。它包含四个主要步骤：

  • 数据清洗：对数据进行校验，删除重复信息、纠正存在的错误，提升数据质量。现阶段数据治理工具和大多数大数据平台都会提供自动化清洗功能，例如百度的 EasyData 智能数据服务平台提供图片去模糊、图片去重等功能，以机器人和人工双重检验保证数据质量。
  • 数据标注：借助特定软件标注工具，以人工方式为图片、语音、文本、视频等内容打上特征标签，提高数据可用性；计算机通过大量学习这些带标签数据，最终形成自主识别能力。
  • 数据审核：主要针对非结构化数据，进行涉及色情、反动、欺诈等非法内容的审核，一般采取机器与人工双重过滤。
  • 数据融合：将多源、多模态数据互相融合，形成可被挖掘分析的数据集。目前不同数据管理平台已开始集成多源异构数据融合与多模态数据挖掘功能，使企业数据可被分析和利用。

二、产品化：数据分析释放价值

数据分析是释放数据要素潜力、将数据资源价值化的过程，即利用工具、手段、方法或思维，从海量和异构数据中发现规律，揭示数据背后的真相，为决策提供依据并指导业务发展。随着数字经济时代到来，大量有价值的信息隐含在海量数据资源中，数据分析可挖掘其中潜在的价值信息和不同数据间的相关关系，创造新的经济增长点，达到提高生产销量、降低生产成本的效果。

在这一环节，拓尔思是较具代表性的公司：其成立于1993年，在大数据、人工智能和数据安全产品及服务领域拥有三十年技术积累，是A股第一家上市的大数据技术公司，专注自然语言处理（NLP），拥有自主研发的大数据基础平台和TRS人工智能平台，具备数据获取、数据检索、数据分析等数据挖掘能力。

三、AI崛起：数据标注成为高增速环节

数据标注之所以在加工环节中格外突出，原因在于人工智能技术崛起，带动专门为AI训练模型提供训练数据的标注产业快速发展，因此该环节增速更高。根据 Grand View Research 统计，全球数据标注工具的市场规模在2021年约为6.3亿美元，到2030年将超过50亿美元，年均复合增长率接近27%。由于AI数据标注产业有一定技术门槛，不少数据运营商选择外包，第三方数据服务商海天瑞声正是AI数据标注领域的引领者，自2005年成立以来持续为AI产业链各类机构提供算法模型训练所需的专业数据集，通过设计数据集结构、组织数据采集并加工原料数据，形成可供AI算法模型训练使用的专业数据集，并以软件形式交付客户。

常见问题

数据要素的形成要经过哪两个阶段？

原始数据转化为数据要素需经历资源化和产品化两个阶段，对应的处理方式分别是数据加工和数据分析。数据加工是资源化的第一步，数据分析则是将数据资源价值化的过程，二者共同构成从原始数据到可用要素的完整链条。

数据加工具体包括哪些环节？

数据加工的过程主要包括数据清洗、数据标注、数据审核和数据融合等步骤。整体而言这些环节比较成熟、技术难度不大，很多数据运营商可以自主进行，其中数据标注因AI需求带动而增速更高。

为什么数据标注环节更容易被外包？

数据标注需要借助标注工具、以人工方式为图片、语音、文本、视频等打上特征标签，为AI模型训练提供数据，相对存在一定技术门槛。因此不少数据运营商会选择外包给第三方数据服务商，海天瑞声即为AI数据标注领域的引领者。