GPT-3.5 大模型在规模达到一定阈值后展现出涌现能力,即模型对某些问题的处理性能突然大幅提升,这正是人工智能投资需要关注的核心技术壁垒所在。这种能力使得大模型区别于传统小模型,能够在不进行微调或仅少量微调的情况下完成多个应用场景的任务,有效降低了 AI 应用研发门槛。围绕涌现能力,投资应重点关注数据积累、算力成本、算法架构三大技术壁垒。
涌现能力:性能的跃升门槛
大模型的涌现能力是指当模型规模达到某个阈值时,其对特定任务的准确率或性能出现非线性、跳跃式增长。例如,在部分任务中,当模型规模从某个较低水平提升至更高水平时,准确率可能从约 10% 跃升至 45% 以上。这种性能的突然提升并非渐进式改善,而是突破临界点后的质变,正是 GPT-3.5 等大模型能够驱动 ChatGPT 这类现象级应用的关键技术基础。
三大技术壁垒
数据积累与算力成本
大模型的涌现能力依赖于大规模的无标注数据进行训练,以及庞大的算力支持。数据积累的规模和质量直接决定了模型学习特征和规则的深度。同时,训练超大规模模型需要极高的算力投入,这构成了显著的资本壁垒。AI 芯片作为算力的基础层,其性能与可获得性直接影响模型训练速度;光模块(CPO 技术) 则是实现高速率、大带宽网络通信的核心器件,支撑算力基础设施的扩展。
算法架构与原创模型
算法层面,原创模型架构的研发能力是区分领先企业与追赶者的关键。中国大模型在参数量上已不逊色(如百度文心大模型参数量达到 2600 亿,超过 GPT-3.5 的 1750 亿),但差距主要体现在算法见解和原创模型匮乏上。美国在算法创新方面领先约 2-3 年,这构成了技术壁垒的核心部分。随着中国公司在 AI 算法的持续投入,底层技术正呈现跟随和追赶态势。
常见问题
涌现能力是否只存在于 GPT-3.5 中?
不是。 涌现能力是大模型在达到特定规模阈值后的普遍现象,并非 GPT-3.5 独有。包括 PaLM 等模型在内,在规模达到一定计算量(如训练 FLOPs)后,其任务准确率也会出现类似跃升。
国内大模型与美国差距有多大?
根据资料,国内 AI 大模型与美国的技术差距约为 1-3 年。在参数量级上,中国模型发布仅落后 1-2 年;在算法创新层面,美国领先约 2-3 年。但在全球超千亿参数大模型中,中国企业贡献了约 1/3,美国贡献了 1/2,显示中国已具备较强的产业参与度。
投资人工智能应关注哪些产业链环节?
最值得关注的四个方向是:AI 芯片(算力基础)、光模块(CPO 技术)(高速通信)、大模型(算法层核心)以及应用场景(下游落地)。其中,有优质场景的 C 端企业和有数据积累的 B 端企业有望率先受益于 AI 赋能带来的降本增效。