从GPT-4实现多模态能力来看，大模型发展的关键转折点包括Transformer架构的提出、GPT-3的涌现能力、CLIP模型对齐图文、ChatGPT引爆应用，以及GPT-4的多模态整合。GPT-4是当前多模态模型的代表性产品，能接受图像和文本输入并生成文本输出，标志着大模型从单文本处理迈向图文融合的关键一步。
多模态能力的里程碑
GPT-4是OpenAI发布的多模态模型，相比之前的ChatGPT（基于GPT-3），GPT-4支持图像和文本输入，并生成文本输出。在包含文本和照片的文档、图表或屏幕截图等输入上，GPT-4都有优秀表现。例如，GPT-4能识别图片中幽默的来源，或解答考试题目，展示出对图文信息的理解能力。
多模态模型的核心是融合不同模态信息（如文本、图像、视频、音频），而GPT-4在文本-图像模型方向取得了突破。这得益于此前CLIP等模型在图文对齐上的积累，以及大模型在NLP（自然语言处理）领域的成熟——NLP大模型（如GPT-3）已具备语言理解和生成能力，为多模态整合提供了基础。
技术演进路径
大模型发展经历多个关键节点：Transformer架构奠定了自注意力机制的基础；GPT-3展示了大规模参数下的涌现能力；CLIP实现了图像与文本的对齐学习；ChatGPT（2022年11月底发布）引爆了应用热潮；而GPT-4则完成了多模态整合，能处理图像和文本的混合输入。
从分类看，大模型主要包括NLP、CV（计算机视觉）和多模态三类。NLP是当前主要发展方向，CV受数据与算法限制短期难爆发，多模态则处于快速发展阶段。
常见问题
GPT-4的多模态能力具体指什么？
GPT-4能接受图像和文本输入，并生成文本输出，这意味着它可以理解图片中的内容、图表或屏幕截图，并基于此回答问题或完成任务。
多模态模型与NLP大模型有何区别？
NLP大模型（如GPT-3）只处理文本，而多模态模型（如GPT-4）能同时处理文本、图像、视频、音频等多种信息类型，实现跨模态的理解与生成。
国内有哪些厂商布局多模态大模型？
百度、腾讯和华为在大模型技术上储备丰富，进展靠前。其中，百度在多模态领域有望突破，其文心一言目前已开放网页公测。