人工智能发展历程中的关键拐点,公认出现在大模型规模跨越某一阈值后、性能突然快速增长的“涌现能力”被观察到之时。在此之前,从 1956 年“人工智能”概念首次提出算起,行业已历经六十余年、三次浪潮的曲折起伏;2006 年深度学习理论的突破,带动了第三次浪潮的加速进展。而真正把 AI 从小模型时代推向大模型时代的,是模型规模与能力关系上出现的这一非线性跃迁——它让 AI 从“一个场景一套模型”走向通用化,并最终催生了 ChatGPT 这类现象级应用。

拐点之前:小模型的效率困境

在这一轮浪潮的前期,AI 模型都是针对特定应用场景需求进行训练的,也就是通常所说的小模型。小模型的通用性差,换到另一个应用场景往往并不适用,需要重新训练,牵涉大量调参、调优的工作和成本;同时,模型训练需要大规模标注数据,在数据量少的场景中,训练出的模型精度往往不理想,最终导致 AI 研发成本高、效率低。

关键拐点:规模阈值与涌现能力

过去 5 年,随着数据、算力和算法的提升,AI 技术从过去的小模型发展到了大模型的兴起。所谓大模型,就是在大规模无标注数据上进行训练,学习出特征和规则。

相比小模型,大模型的泛化能力强:基于大模型进行应用开发,只需用下游特定任务上的小规模标注数据做微调、二次训练,甚至不进行微调,就可以完成多个应用场景的任务。这有效降低了 AI 应用研发门槛,也能解决应用场景数据量少、模型精度低的问题。

更重要的是,大模型具备涌现能力——当模型规模达到某个阈值时,模型对某些问题的处理性能突然呈现快速增长。这一“规模到阈值、性能突增”的特征,正是从小模型转向大模型的关键拐点,也是大模型区别于小模型的核心能力标签。

拐点的落地标志:ChatGPT

正是基于这种能力,才有了 ChatGPT 这种现象级应用的出现。2022 年 11 月,美国的 OpenAI 公司发布了基于 GPT-3.5 大模型的聊天机器人程序 ChatGPT,短短五天注册用户数量就超过 100 万,60 日后月活直接破亿,成为史上增长最快的消费者应用。英伟达 CEO 黄仁勋直接断言:“我们正处在 AI 的 iPhone 时刻!”

从产品模式看,ChatGPT 属于生成式人工智能技术(AIGC)的一种。与传统的决策/分析式 AI 相比,生成式 AI 并非通过简单分析已有数据来进行分析与决策,而是在学习归纳已有数据后进行演绎创造,基于历史进行模仿式、缝合式创作,生成全新的内容。

常见问题

为什么说涌现能力是人工智能的关键拐点?

因为在小模型阶段,能力提升主要靠针对单一场景反复调参与标注数据投入,成本高、通用性差;而当模型规模达到某个阈值后,处理某些问题的性能会突然快速增长,即涌现能力。这一变化让“一个模型支撑多个场景”成为可能,AI 的研发范式由此改写。

2006 年的深度学习突破与涌现能力是什么关系?

2006 年深度学习理论的突破,带动了人工智能第三次浪潮的加速进展,为后续大模型的训练方法打下基础。而涌现能力描述的是这轮浪潮中、模型规模跨过阈值后性能突增的现象,两者分别对应“方法突破”与“规模效应”两个层面。

ChatGPT 在人工智能发展历程中意味着什么?

ChatGPT 是大模型涌现能力之上的现象级 AIGC 应用,发布后 60 日月活破亿,成为史上增长最快的消费者应用,并被黄仁勋称为“AI 的 iPhone 时刻”。它的意义在于标志着人工智能技术即将广泛地应用于生产生活,并深刻影响经济社会方方面面。