从1750亿到2600亿参数,人工智能大模型的发展历程中,关键拐点包括2017年Transformer架构的提出、2020年GPT-3的发布(1750亿参数)以及2022年ChatGPT的诞生;而国内百度文心大模型的参数量达到2600亿,在规模上超过了GPT-3的1750亿,但中美差距主要体现在算法原创性而非参数量上。
大模型参数量竞赛的关键节点
人工智能大模型的演进经历了从小模型到大规模预训练模型的转变。早期的小模型针对特定场景训练,通用性差;而大模型在无标注数据上训练,泛化能力强,并具备涌现能力——当模型规模达到某个阈值时,性能会突然快速增长。
在参数量竞赛中,2020年OpenAI发布的GPT-3拥有1750亿参数,成为当时规模最大的语言模型。随后,百度发布的文心大模型参数量达到2600亿,超过了GPT-3的1750亿。根据国内OpenBMB开源社区统计,在全球超千亿参数大模型中,中国企业或机构贡献了1/3,美国贡献了1/2。
中美差距:参数量不是唯一指标
尽管中国在参数量上实现追赶,但中美在AI大模型领域的差距仍然存在。具体到技术层面,美国大概领先国内公司2-3年。造成差距的核心原因并非数据或参数量不足,而是中国原创模型匮乏,对算法的见解有待提升;此外,2022年8月之后美国限制部分高端GPU出口中国,也在一定程度上影响了模型训练速度。
从发布时间的差距来看,同等参数量级的模型,美国只比国内领先1-2年。随着中国公司在AI算法上的持续投入和国产GPU或ASIC的替代,未来有望依托大模型的应用落地爆发出巨大增长潜力。
常见问题
人工智能大模型为什么需要越来越大的参数量?
大模型的涌现能力是核心驱动力——当模型规模达到某个阈值时,对某些问题的处理性能会突然呈现快速增长,这是小模型无法实现的现象。更大的参数量有助于模型学习更复杂的特征和规则,提升泛化能力。
百度文心大模型2600亿参数意味着什么?
百度文心大模型的2600亿参数量超过了ChatGPT的1750亿,表明中国在模型规模上已具备与国际顶尖水平竞争的能力。但参数量并非唯一衡量标准,算法原创性和工程实现同样重要。
中国在AI大模型领域与美国相比处于什么位置?
整体来看,国内AI技术仅落后美国1-3年,并领先于大部分其他国家。在拥有大模型数量及参数量前十名的组织中,中美分别占据4席和6席。差距主要在于算法原创性和高端算力获取,而非参数量或数据规模。