FDA与NMPA对AI医疗的可解释性要求,其理论根源可追溯到哥德尔不完备性定理:深度学习这类基于神经网络训练的模型,其内部工作机制目前尚未得到严格的数学定义,因而天然缺乏可解释性,这正是监管审批的核心难点所在。 无论是FDA还是NMPA,对AI医疗的可解释性都提出了很高要求,企业的合规路径需要在算法性能与可解释性之间寻求平衡,并主动建立面向监管的透明机制。
哥德尔定理如何影响AI医疗监管
哥德尔不完备性定理指出,任何包含初等数论的形式体系中,自治性和完备性必定无法同时满足。这一定理被视为理论计算机科学和人工智能理论的基础,也揭示了AI系统在逻辑能力上的天然边界。
AI发展形成两大类技术路线:第一类是基于模型的运算能力(如知识图谱,依靠计算机运算能力),这类技术的工作原理有严格的数学定义,因此是可解释的;第二类是基于神经网络模型的训练(如深度学习,模拟人类思维方式),这类技术虽然训练出了强大的模型,但内部如何相互影响并不清楚,工作原理尚未得到严格的数学定义,因而不具有可解释性。
监管的“黑箱”难题与政策逻辑
在AI医疗领域,可解释性的本质要求工作流程和人类对医学问题的认知一致,或者其工作流程可以被人类理解。但问题在于,完成目标任务的途径本质上有无穷多条,不可能要求任意一条途径都符合人类的理解模式。
目前医学领域的可解释性实质上是要求看到因果关系,而深度网络和深度学习在挖掘因果性方面恰恰是弱项。即使网络构造出一条看起来符合人类认知的逻辑链路,更大可能也是通过人为的网络结构设计获得的,而非机器学习本身发掘的因果性。这意味着,寻求可解释性实质上是在追求人类对网络结构设计如何与医学问题自身逻辑匹配——这本质上考验的是人类自己如何理解这个医学问题。
合规路径设计:混合路线与透明机制
面对监管要求,企业可以重点考虑以下合规路径:
| 路径方向 | 具体策略 |
|---|---|
| 技术路线选择 | 在网络结构设计中融合可解释的符号逻辑或知识图谱组件,借助基于模型运算能力的可解释优势 |
| 性能与可解释平衡 | 在算法性能与可解释性之间寻求平衡,不以牺牲监管合规为代价追求单一指标 |
| 透明机制建设 | 主动建立面向监管的透明机制,使工作流程尽可能与人类对医学问题的认知保持一致 |
常见问题
为什么深度学习模型难以通过监管审批?
深度学习模型通过训练得到参数调节好的神经网络,但内部如何相互影响并不清楚,工作原理缺乏严格的数学定义。监管机构要求AI医疗具备可解释性,本质上是要求看到因果关系,而这恰是深度学习的弱项。
可解释的AI医疗系统是否意味着性能下降?
不一定。完成目标任务的途径本质上有无穷多条,找到一条符合人类认知特征的途径是可行的,但不等于说不符合人类认知特征的途径就不可用。关键在于通过人为的网络结构设计,使工作流程与人类已知认知匹配。
企业如何在AI医疗审批中建立合规优势?
企业应主动将可解释性纳入产品设计前端,在网络结构中融合知识图谱等基于模型运算能力的组件,同时建立面向监管的透明机制,使算法工作流程尽可能与医学问题自身的逻辑相匹配。