ChatGPT基于GPT-3.5大模型,在发布后短短五天注册用户超过100万,60日内月活跃用户突破1亿,成为史上增长最快的消费者应用。这一速度背后,是人工智能大模型在算力、数据和算法三重维度构筑的极高技术壁垒——大模型需要在大规模无标注数据上训练,且具备涌现能力(当模型规模达到某个阈值时,性能突然快速增长),新进入者要同时跨越算力投入、数据积累和算法优化的门槛,难度极大。
大模型的三重技术壁垒
人工智能从“小模型”演进到“大模型”,技术壁垒显著提升。小模型针对特定场景训练,通用性差,换场景需重新调参;而大模型泛化能力强,基于大规模无标注数据训练后,通过微调甚至不微调即可完成多个任务。更重要的是,大模型具备涌现能力——当模型规模达到某个阈值时,对某些问题的处理性能会突然呈现快速增长。正是基于这种能力,才有了ChatGPT的现象级应用。
大模型的训练依赖三个核心要素:算力、数据和算法。算力方面,需要海量GPU集群支撑;数据方面,需要大规模无标注数据进行预训练;算法方面,则需要原创模型架构和RLHF(基于人类反馈的强化学习)等优化技术。这三者共同构成了后来者难以短期复制的护城河。
中美大模型的技术差距
在这一轮人工智能革命中,国内大模型与美国的差距已明显缩小。根据国内OpenBMB开源社区统计,在全球超千亿参数大模型中,中国企业或机构贡献了1/3,美国贡献了1/2。在拥有大模型数量及参数量前十名的组织中,中美分别占据4席和6席。
具体到大模型技术方面,美国大概领先国内公司2-3年。造成差距的原因并非中国缺乏大数据和参数量——百度文心大模型的参数量达到2600亿,甚至超过了ChatGPT的1750亿——而是两方面:一是中国原创模型匮乏,对算法的见解有待提升;二是美国限制了部分高端GPU出口中国,影响了模型训练速度。不过,国内人工智能市场正快速增长,预计中国占全球市场的比重将从13.8%提升到20.9%。
常见问题
ChatGPT达到1亿用户用了多久?
ChatGPT60日内月活跃用户突破1亿,成为史上增长最快的消费者应用,远超TikTok(9个月)、Instagram(30个月)等平台。
什么是大模型的“涌现能力”?
当模型规模达到某个阈值时,模型对某些问题的处理性能会突然呈现快速增长,而非线性提升。这种涌现能力是ChatGPT等AIGC应用能够产生现象级效果的关键技术基础。
国内大模型与美国的差距有多大?
国内大模型技术落后美国约2-3年,但差距正在缩小。从发布时间的差距看,同等参数量级的模型,美国只比国内领先1-2年。中国在千亿参数大模型的数量上已占全球1/3。