原始数据要转化为数据要素,需经历资源化与产品化两个阶段,分别对应数据加工与数据分析。关键拐点出现在数据加工中的“数据标注”环节——它本属数据加工流程的一环,却因人工智能技术崛起而快速发展,增速高于其他加工步骤,成为产业链上更具技术门槛、也更受关注的关键节点。
两个阶段:资源化与产品化
原始数据不能直接成为生产要素,中间要经过两道转化:
- 资源化:由数据加工完成,是数据资源化的第一步,对企业采集和存储的数据进行筛选处理,提升可用性,为后续挖掘分析奠定基础。
- 产品化:由数据分析完成,是释放数据要素潜力、将数据资源价值化的过程,从海量和异构数据中发现规律,揭示数据背后的信息,为决策提供依据并指导业务发展。
数据加工:四个步骤
数据加工主要包括数据清洗、数据标注、数据审核和数据融合:
| 步骤 | 作用 |
|---|---|
| 数据清洗 | 校验数据,删除重复信息、纠正错误,提升数据质量 |
| 数据标注 | 借助标注工具,以人工方式为图片、语音、文本、视频打上特征标签,提高可用性 |
| 数据审核 | 对非结构化数据进行色情、反动、欺诈等非法内容审核,通常机器与人工双重过滤 |
| 数据融合 | 将多源、多模态数据互相融合,形成可被挖掘分析的数据集 |
整体来看,这些环节较为成熟、技术难度不大,很多数据运营商可以自主完成。
为什么拐点在数据标注
数据标注的特殊之处在于,它服务于人工智能训练模型。随着人工智能技术崛起,专门为AI训练模型提供训练数据的标注产业快速发展,增速高于其他加工环节。根据 Grand View Research 统计,全球数据标注工具市场规模在 2021 年约为 6.3 亿美元,到 2030 年将超过 50 亿美元,年均复合增长率接近 27%。
同时,人工智能数据标注产业具有一定技术门槛,因此不少数据运营商会选择外包。以海天瑞声为例,公司自成立以来持续为AI产业链各类机构提供算法模型训练所需的专业数据集,通过设计数据集结构、组织数据采集并加工原料数据,最终形成可供AI算法模型训练使用的专业数据集,并以软件形式交付客户,在人工智能基础数据服务领域已成为具有较强国际竞争力的国内头部企业。
常见问题
数据要素产业的关键拐点为什么是数据标注,而不是清洗或审核?
数据清洗、审核等环节已较为成熟、技术难度不大,很多数据运营商可自主完成;而数据标注因人工智能技术崛起而快速发展,增速更高,且具有一定技术门槛,因此成为产业链上更关键、更具代表性的拐点环节。
资源化和产品化分别对应什么处理方式?
资源化对应数据加工,是数据资源化的第一步,包含清洗、标注、审核、融合等步骤;产品化对应数据分析,是将数据资源价值化的过程,从海量异构数据中发现规律、为决策提供依据。
数据标注与数据分析是什么关系?
数据标注属于数据加工环节,为数据分析奠定基础——被标注后的数据可供计算机大量学习,最终形成自主识别能力;而数据分析则是在数据资源基础上进一步挖掘价值信息,释放数据作为生产要素的价值。