国产大模型与国际领先水平确实存在代差:国内布局大模型的厂商虽多,但基本没有达到GPT-3效果的产品;其中技术储备较丰富、进展较靠前的百度文心一言、腾讯混元和华为盘古,公开评测感受约为GPT-2.5水平,落后OpenAI三年多。因此,自主可控并非单点突破,而需要在预训练语料、算法框架、算力芯片与行业数据生态四个环节同步推进,并依靠快速迭代逐步缩小差距。
代差体现在哪里
从技术路线看,当前大模型主要面向NLP领域,GPT-3即属此类;CV大模型受有效训练数据不足、学习方法待突破、通用视觉模型尚未建立等限制,短期还很难出现大的爆发,多模态则处于文本-图像等方向探索阶段。
专利储备也反映差距:NLP领域专利数量上,微软为6400件,腾讯为2200件,百度为500件,亚马逊为500件,Meta为400件。国内厂商中腾讯、百度相对靠前,但整体仍处追赶位置。
自主可控需要突破的四个环节
一是预训练语料。 大模型依赖海量语料库的自监督预训练,语料规模与质量直接决定模型能力上限,中文高质量语料的积累是基础环节。
二是算法框架。 从BERT、GPT到T5,算法与参数规模的持续演进是能力跃升的主线,国内厂商需要在这一层面形成可持续的迭代能力。
三是算力芯片。 参数量爆炸的大模型对算力提出极高要求,算力供给是训练能否持续推进的硬约束,也是自主可控的关键一环。
四是行业数据生态。 百度、腾讯作为互联网厂商拥有To C业务,在数据入口和数据样本收集方面有一定优势;华为对行业理解更深,盘古大模型已在智慧文旅、金融、交通高速巡检、电力设备缺陷识别等场景落地,更多面向To B端。生态差异决定各家落地路径不同。
常见问题
国产大模型目前落后国际领先水平多少?
国内大模型基本没有达到GPT-3效果,百度文心一言的使用感受约为GPT-2.5水平,即落后OpenAI三年多。未来重点在于能否像GPT一样实现快速迭代。
国内技术储备靠前的厂商有哪些?
主要是百度文心一言、腾讯混元和华为盘古三家,进展相对靠前。腾讯、百度对NLP、CV和多模态均有布局,华为还另有科学计算大模型,整体发展较为均衡。
三家厂商的后续发力方向有何不同?
腾讯可能在NLP大模型、CV大模型的子分类中发展更好,百度可能在多模态模型上更有优势,华为则更侧重在工业制造业、能源交通等行业领域做深。