ChatGPT的“涌现能力”来源不明，揭示了当前大模型技术在可解释性上的根本局限——这正是AI医疗构建技术壁垒的核心挑战。由于医疗领域对可解释性和因果关系的要求极高，AI医疗的审批与落地必须突破“黑箱”问题，而非依赖不可控的涌现。
涌现能力的“黑箱”
ChatGPT虽然依赖强大的分布式算力，但其核心仍是基于神经元模型的训练。在公开访谈中，OpenAI CEO萨姆·阿尔特曼坦言，ChatGPT为何会出现归纳推理能力，研究者自己搞不明白——他们只知道，在不断测试和训练中，人类突然发现，ChatGPT开始出现了归纳推理能力。这种“涌现”缺乏严格数学定义，工作原理尚不清晰，类似于古代中国工匠知道黑火药的制备方法，但无法解释其中的化学原理。
可解释性：医疗AI的硬门槛
AI医疗的审批面临独特的可解释性要求。无论是FDA还是NMPA，都对AI医疗的可解释性提出了很高要求。传统基于模型运算的方法（如知识图谱）有严格数学定义，是可解释的；而基于神经网络训练的方法（如深度学习）则不具有可解释性。具体到医学影像AI，所谓的可解释性，就是要求其工作流程和人类对医学问题的认知一致，或者其工作流程可以被人类所理解。
因果关系的挑战
目前深度网络在挖掘因果性方面是弱项。即使网络构造了一条看似符合人类认知的逻辑链路，更大可能是通过人为的网络结构设计获得的，而非机器学习本身发掘了因果性。在此阶段寻求可解释性，实质上是在追求人类对网络结构设计如何与医学问题自身的逻辑匹配——这考验的是人类自己如何理解医学问题，极少可能出现通过网络训练发现一个以前未知的逻辑链条。
常见问题
### AI医疗的技术壁垒到底是什么？
核心壁垒在于可解释性与因果关系。AI医疗必须通过FDA或NMPA等监管审批，而审批要求模型工作流程能被人类理解，且能呈现因果关系——这恰恰是当前深度学习模型的弱项。
### ChatGPT的涌现能力对AI医疗意味着什么？
ChatGPT的涌现能力来源不明，说明大模型存在不可控性。医疗领域不能接受这种“黑箱”式的涌现，因为任何诊断决策都必须可追溯、可验证。
### 传统机器学习和深度学习在可解释性上有何区别？
传统基于模型运算的方法（如知识图谱）有严格数学定义，是可解释的；而基于神经网络训练的方法（如深度学习），其工作原理尚未得到严格数学定义，因而不具有可解释性。