从训练到微调再到应用开发,大模型的成本结构与盈利模式,核心可以概括为:训练阶段是算力与数据密集型的重投入环节,微调与应用开发则是把这份投入摊薄、复用,从而降低单个场景的研发门槛与成本。 小模型通用性差、换场景往往需要重新训练,牵涉大量调参调优工作;而大模型在大规模无标注数据上训练,泛化能力强,基于微调——即利用下游特定任务上的小规模标注数据做二次训练——甚至不进行微调,就能完成多个应用场景的任务。这一差异,正是理解大模型成本结构与商业化路径的关键。
成本结构:钱花在哪几个环节
训练环节是主要成本项。 大模型需要在大规模无标注数据上训练,学习出特征和规则,对算力与数据规模的要求远高于针对单一场景训练的小模型。资料显示,2022年8月之后,美国限制部分高端GPU出口中国,在一定程度上影响了模型训练速度;部分算力约束也会通过国产GPU或ASIC替代来缓解。这说明算力供给的可获得性,直接关系到训练成本与进度。
微调环节的成本显著低于从零训练。 微调只需下游特定任务上的小规模标注数据,不必重复投入大规模预训练资源。对于应用场景数据量少的情况,这条路径还能缓解“数据少、模型精度不理想”的老问题。
应用开发环节的成本被进一步压缩。 由于大模型泛化能力强,开发者可以基于微调或免微调完成多场景任务,有效降低AI应用研发门槛。相比小模型时代每个场景都要重新训练、反复调参调优,这种复用逻辑改变了成本曲线的形状。
盈利模式:从能力到场景的变现
大模型的盈利逻辑,建立在“一次训练、多场景复用”之上。中游的大模型是当下人工智能发展趋势,也是市场最为关注的方向;下游应用层则通过AI技术赋能实现降本增效,其中有优质应用场景的C端企业,以及有数据积累的B端企业,有望率先受益。此外,上游的AI芯片提供算力支持,光模块是光通信系统的核心器件之一,其中CPO技术被官方表述为实现高速率、大带宽、低功耗网络的必经之路。
从产业格局看,根据国内OpenBMB开源社区统计,在全球超千亿参数大模型中,中国企业或机构贡献了1/3,美国贡献了1/2,世界其他国家或组织贡献了剩下的1/6;在拥有大模型数量及参数量前十名的组织中,中、美分别占据4席和6席(统计口径为OpenBMB 2022年10月数据,来源为招银国际环球市场)。国内大模型与美国的差距已缩小到1-3年,具体到技术方面美国领先约2-3年。
常见问题
大模型微调为什么能降低应用开发成本?
因为微调只需下游特定任务上的小规模标注数据做二次训练,不需要为每个场景重新投入大规模预训练。相比小模型换场景就要重新训练、牵涉大量调参调优,大模型泛化能力强,微调甚至免微调即可完成多场景任务,从而降低研发门槛。
训练阶段的算力投入为什么是主要成本项?
大模型在大规模无标注数据上训练,对算力与数据规模的要求远高于小模型。算力供给的可获得性会影响训练速度,部分约束可通过国产GPU或ASIC替代缓解,但训练环节本身仍是资源投入最集中的部分。
大模型的盈利机会主要落在哪些环节?
官方梳理的四个值得关注方向是上游的AI芯片和光模块、中游的大模型,以及下游的落地场景。下游应用层通过AI技术赋能实现降本增效,其中有优质应用场景的C端企业和有数据积累的B端企业,被官方表述为有望率先受益。