人工智能行业的关键拐点,来自理论、规模与能力三者的叠加:1956年“人工智能”概念首次被提出,此后发展历经六十余年、三次浪潮;2006年深度学习理论取得突破,带动第三次浪潮加速推进,AI模型从面向特定场景的小模型走向在大规模无标注数据上训练的大模型;而当模型规模达到某个阈值时,模型对某些问题的处理性能会突然呈现快速增长,这种涌现能力成为ChatGPT等现象级应用出现的技术前提。

拐点一:深度学习理论突破,第三次浪潮加速

人工智能是对人的意识和思想过程的模拟,赋予机器会听、会看、会说、会思考等功能。从技术阶段看,可分为运算智能、感知智能、认知智能和意识智能,当前正处于第三代人工智能即认知智能阶段,终极探索目标是机器的意识智能。

概念提出后的六十余年里,行业曲折起伏。2006年深度学习理论的突破,是第三次浪潮加速的直接推手,也为后续大模型的兴起准备了算法与工程基础。

拐点二:从小模型到大模型,泛化能力跃升

在这轮浪潮前期,AI模型多针对特定应用场景训练,即小模型。小模型通用性差,换场景往往需重新训练,牵涉大量调参、调优工作与成本;同时训练依赖大规模标注数据,在数据量少的场景下精度不理想,导致研发成本高、效率低。

过去几年,随着数据、算力和算法的提升,AI技术从小模型走向大模型。大模型在大规模无标注数据上训练,学习出特征和规则,泛化能力强:既可微调(利用下游任务的小规模标注数据二次训练),也可不微调即完成多个应用场景任务,有效降低AI应用研发门槛,并缓解场景数据少、精度低的问题。

拐点三:涌现能力,让现象级应用成为可能

更关键的是,大模型具备涌现能力——当模型规模达到某个阈值时,模型对某些问题的处理性能突然呈现快速增长。正是基于这种能力,才有了ChatGPT这种现象级应用的出现。从产品模式看,ChatGPT属于生成式人工智能技术(AIGC):与传统的决策/分析式AI不同,生成式AI并非简单分析已有数据来做分析与决策,而是在学习归纳已有数据后进行模仿式、缝合式创作,生成全新内容。

从产业格局看,据国内OpenBMB开源社区统计,全球超千亿参数大模型中,中国企业或机构贡献了1/3,美国贡献了1/2,世界其他国家或组织贡献了剩下的1/6;在拥有大模型数量及参数量前十名的组织中,中、美分别占据4席和6席。

常见问题

为什么说深度学习理论突破是一个关键拐点?

因为2006年深度学习理论的突破,直接带动了人工智能第三次浪潮的加速进展。在此之前,行业已历经六十余年、三次浪潮的曲折起伏,理论突破为后续数据、算力、算法共同推动大模型兴起铺平了道路。

大模型的“涌现能力”到底指什么?

它指当模型规模达到某个阈值时,模型对某些问题的处理性能突然呈现快速增长,而不是随规模线性提升。这一特性使大模型在多个任务上表现出跃升式进步,也成为ChatGPT等现象级应用出现的技术前提。

大模型相比小模型解决了哪些实际问题?

大模型泛化能力强,可微调也可不微调完成多个场景任务,降低AI应用研发门槛;同时缓解了某些场景数据量少、模型精度不理想的问题,从而改善小模型时代研发成本高、效率低的状况。