FDA与NMPA对AI医疗产品均提出了很高的可解释性要求，而ChatGPT这类大模型的核心能力来自涌现行为，其内部机制连研究者也无法完全解释。这种“必须解释”与“无法解释”之间的矛盾，意味着ChatGPT若直接用于医疗决策，其推理链路难以通过现行监管审批——除非开发者能证明其工作流程与人类对医学问题的认知一致。
可解释性为何是审批的关键
监管对AI医疗可解释性的要求，本质上是要求AI的工作流程和人类对医学问题的认知一致，或者其工作流程可以被人类所理解。这与深度学习模型的工作原理存在天然张力：基于神经网络训练的模型（如阿法狗、ChatGPT），人们目前只知道其基本逻辑，但内部如何相互影响并不清楚，其工作原理尚未得到严格的数学定义，因而不具有可解释性。相比之下，基于模型运算能力的路线（如知识图谱、深蓝）有严格的数学定义，因此是可解释的。
涌现推理与监管要求的矛盾
ChatGPT的核心是基于神经元模型的训练，研究者使用梯度下降等算法训练拥有1500亿个参数的人工神经网络，但对其中细节并不掌握。OpenAI CEO萨姆·阿尔特曼在公开访谈中也坦言，ChatGPT为何会出现归纳推理能力，研究者自己搞不明白——是在不断测试和训练中，人类突然发现它开始具备了这种能力。
这种“涌现”特性与医疗监管的要求形成直接冲突。目前医学领域的可解释性，实际上是要求看到因果关系的，但深度网络和深度学习在挖掘因果性方面是个弱项。即使网络真的构造了一条看起来符合人类认知的逻辑链路，更大可能上也是通过人为的网络结构设计获得的，而不是机器学习本身发掘了这个因果性。
常见问题
AI医疗的可解释性要求会放松吗？
在可见的将来，人类不会接受AI医疗的涌现。无论是FDA还是NMPA，对AI医疗的可解释性都提出了很高的要求，短期内难以放宽。
如果AI的决策逻辑无法解释，是否就不能用于医疗？
并非完全不能使用，但需要通过人为的网络结构设计，使AI的工作流程与人类已知的医学认知相匹配。这本质上是在考验人类自己如何理解这个医学问题，而不是依赖AI去发现未知的逻辑链条。
深度学习模型有可能自己发现新的医学因果吗？
极少可能出现这种情况。即便有所发现，大概率也是相关性而非因果性，还需要人类进一步验证相关性的存在。因此，现阶段的可解释性更像一个循环论证：从人类对问题的理解出发设计网络，再构造一个与人类已知认知匹配的工作流程。