人工智能CV大模型的技术壁垒主要集中在学习方法待突破、不同应用依赖不同模型导致通用视觉模型尚未建立、以及图像尺寸增大带来的计算量挑战三大方面。与NLP领域Transformer的成功不同，CV领域在自监督学习、多模态融合等方面仍面临独特难点，短期较难出现大的爆发。
CV大模型的核心技术壁垒
学习方法与数据瓶颈
在计算机视觉（CV）领域，可用于训练的有效数据比NLP领域少，且学习方法仍需突破。NLP大模型（如GPT系列）通过自监督学习，利用海量语料库预训练即可掌握上下文语境；而CV模型早期依赖特征工程，学习图像和视频数据形成通用视觉能力的过程更为复杂。此外，不同的视觉应用仍依赖于不同模型，如何建立通用的视觉模型仍是未知。
计算量挑战
随着训练图像尺寸越来越大，较小的模型也可能产生巨大的计算量，这进一步加剧了训练成本。相比之下，NLP领域的Transformer架构在CV中虽已出现变体（如微软Swin-Transformer、谷歌ViT系列），但尚未完全解决计算效率与泛化能力的平衡问题。
当前进展与代表性模型
现阶段比较有名的CV大模型包括微软的Swin-Transformer系列、谷歌的ViT系列，以及Meta近期发布的SAM模型（能识别图像和视频中物体，完成CV底层技术突破）。国内方面，商汤科技在4月初发布了日日新大模型。不过整体上，CV大模型受限于数据与算法，短期还难以像NLP大模型那样实现快速迭代。
常见问题
CV大模型与NLP大模型的主要区别是什么？
NLP大模型（如GPT）通过自监督学习，利用海量文本数据即可训练，且已建立通用语言模型；而CV大模型面临有效数据少、学习方法待突破、不同任务依赖不同模型、图像尺寸带来计算量大等挑战，通用视觉模型尚未建立。
为什么图像尺寸增大会带来计算量挑战？
在CV领域，供训练的图像尺寸越来越大，即使较小的模型也可能因图像的高分辨率导致计算量显著增加，这与NLP中主要处理文本序列不同，带来了更高的算力门槛。
目前有哪些代表性的CV大模型？
代表性模型包括微软的Swin-Transformer系列、谷歌的ViT系列，以及Meta的SAM模型。国内有商汤科技的日日新大模型，但整体上CV大模型短期还难以出现大的爆发。