ChatGPT的推理机制属于涌现结果，研究者目前无法解释其内部原理；当这类不可解释的推理进入AI医疗的临床决策场景，风险的核心在于决策逻辑无法被人类完整理解和验证。在可见的将来，人类并不接受AI医疗的“涌现”——无论是FDA还是NMPA，对AI医疗的可解释性都提出了很高的要求。
不可解释性从何而来
AI的发展形成了两大类技术路线：一类是基于模型的运算能力（如深蓝），其工作原理有严格的数学定义，是可解释的；另一类是基于神经网络模型的训练（如阿法狗），目前人们只知其基本逻辑，内部如何相互影响并不清楚，工作原理尚未得到严格的数学定义，因而不具有可解释性。ChatGPT正是后者——研究人员使用梯度速降等算法训练拥有1500亿个参数的人工神经网络，但对其中细节并不完全掌握。在公开访谈中，OpenAI公司CEO萨姆·阿尔特曼也坦言，ChatGPT为何会出现归纳推理能力，研究者自己搞不明白。
哥德尔定理与AI医疗的盲区
哥德尔不完备性定理指出：任意一个包含初等数论的形式系统，必定存在一个命题，既不能被证明也不能被证伪。这揭示了定理证明、计算、人工智能、逻辑和数学本身的基础局限性。AI医疗的决策逻辑同样可能面临类似的盲区——系统内部可能存在人类无法触及的推理死角，而医生和患者对此无从察觉。
在医学领域，可解释性实质上要求看到因果关系。但深度网络和深度学习在挖掘因果性方面是弱项，即便网络构造出一条看似符合人类认知的逻辑链路，更大可能是通过人为的网络结构设计获得的，而非机器学习本身发掘了因果性。这意味着，AI医疗给出的结论可能只是相关性，而非因果性，需要人类进一步验证。
可解释性的现实路径
针对医学影像AI问题，可解释性说白了就是要求其工作流程和人类对医学问题的认知一致，或者其工作流程可以被人类所理解。但完成目标任务的途径本质上有无穷多条，不可能要求任意一条途径都满足人类的理解模式——除非真的找到一条符合人类认知特征的途径，但不等于不符合人类认知特征的途径就不可用。
当前阶段寻求可解释性，实质上是在追求人类对网络结构设计如何与医学问题自身逻辑匹配，这本质上仍然在考验人类自己如何理解这个医学问题。极少可能出现人类在对医学问题没有足够了解的前提下，通过网络训练发现一个以前未知的逻辑链条。
常见问题
AI医疗的不可解释性是否意味着不可用？
不符合人类认知特征的途径不等于不可用。可解释性要求的是工作流程与人类认知一致，但完成任务的途径本质上有无穷多条，不能因为某条路径不符合人类理解模式就否定其临床价值。
监管机构如何看待AI医疗的可解释性？
在可见的将来，人类不接受AI医疗的涌现，FDA和NMPA对AI医疗的可解释性都提出了很高要求。这实质上是在要求人类对网络结构设计如何与医学问题自身逻辑匹配有足够把握。
深度学习能否自主发现新的医学逻辑？
极少可能。即使网络有所发现，大概率是相关性而非因果性，还需要人类进一步验证相关性的存在。可解释性在现阶段更像一个循环论证——从人类对问题的理解出发设计网络，再构造与已知认知匹配的工作流程。