哥德尔不完备性定理揭示了任何包含自然数论的形式系统都无法同时满足自治性与完备性,这一逻辑边界同样映射到AI医疗领域:基于深度学习的AI医疗系统,其内部工作流程目前尚无法获得严格的数学定义,因而难以做到完全可解释,这正是监管与临床落地的核心挑战。无论是FDA还是NMPA,对AI医疗的可解释性都提出了很高要求,而这一要求本质上是在考验人类自身对医学问题的理解深度。

深度学习为何难以解释

AI发展形成了两大技术路线:一类是基于模型的运算能力(如深蓝),工作原理有严格数学定义,因此可解释;另一类是基于神经网络模型的训练(如阿法狗、ChatGPT),通过训练得到参数调节好的神经网络,但内部如何相互影响并不清楚,工作原理尚未得到严格的数学定义,因而不具有可解释性。这类似于古代工匠知道黑火药的制备方法,却无法解释其中的化学原理。

AI医疗可解释性的特殊要求

针对医学影像AI问题,可解释性说白了就是要求其工作流程与人类对医学问题的认知一致,或者其工作流程可以被人类理解。然而,完成目标任务的途径本质上有无穷多条,不可能要求任意一条途径都满足人类的理解模式。目前深度网络在挖掘因果性方面是弱项,即便网络构造出看似符合人类认知的逻辑链路,更大可能也是通过人为网络结构设计获得的,而非机器学习本身发掘了因果性。

可解释性的本质困境

当前阶段寻求可解释性,实质上是在追求人类对网络结构设计如何与医学问题自身逻辑匹配,这本质上还是在考验人类自己如何理解医学问题。极少可能出现人类在对相应医学问题没有足够了解的前提下,通过网络训练发现一个以前未知的逻辑链条——就算有所发现,应该也是相关性而非因果性,还需人类进一步验证。这个意义上的可解释性像循环论证:从人类自己对问题的理解出发设计网络,构造一个与人类已知认知匹配的工作流程。

常见问题

哥德尔不完备性定理与AI医疗有什么关系?

哥德尔不完备性定理指出任何形式系统都存在无法证明或证伪的命题,而深度学习模型作为模拟人脑的神经网络系统,其工作原理尚未得到严格的数学定义,因此存在不可解释的部分。在AI医疗这种对可靠性要求极高的领域,这种不可解释性直接关系到监管审批与临床信任。

为什么深度学习模型难以满足医疗领域的可解释性要求?

医疗领域的可解释性要求看到因果关系,但深度学习在挖掘因果性方面是弱项。同时,完成同一医学任务有无数条可行途径,不可能要求每条途径都符合人类认知模式。目前的可解释性更多是通过人为网络结构设计实现的,而非模型自发发掘的因果逻辑。

FDA和NMPA对AI医疗可解释性的要求是什么?

无论是FDA还是NMPA,对AI医疗的可解释性都提出了很高要求。在可见的将来,人类不接受AI医疗的“涌现”——即不接受无法解释其工作流程的AI系统直接用于医疗场景。这意味着AI医疗产品的落地,必须以人类能理解的逻辑链路为前提。