AI医疗的可解释性确实构成其通过监管审查的现实约束,进而影响产业链议价地位;图灵机模型揭示的,是这一约束的理论根源——计算机系统作为符号化形式系统,必然受哥德尔不完备性定理限制,无法与“悖论”完全和解。因此,面向医学影像等场景的AI医疗产品,其可解释性要求本质上是要求工作流程与人类对医学问题的认知一致,或至少可被人类理解,这直接关系到产品能否通过FDA与NMPA的审查,从而左右其与医院、监管方及技术供应商之间的议价能力与价格传导。

可解释性约束的理论根源

哥德尔不完备性定理表明,任何包含初等数论的形式体系中,自洽性与完备性无法同时满足:系统中必定存在既不能被证明也不能被证伪的命题。图灵在此基础上提出“图灵机”与“图灵测试”。有观点认为,计算机系统本身是符号化的形式系统,因而也须遵从该定理,其内部必然存在无法被证明或证伪的命题,逻辑能力存在边界。图灵本人则认为,人类思维同样存在局限性,人类所建立的形式系统也是不完全的,完成一件事可以有不同的方式,计算机智能以人类思维作为参照,但不一定必须作为模板。

深度学习路线的可解释性难题

AI近年形成两大类技术路线:一类是基于模型的运算能力(如知识图谱、深蓝),其工作原理有严格数学定义,是可解释的;另一类是基于神经网络模型的训练(如深度学习、阿法狗),通过训练得到参数被调节好的神经网络。训练法是目前的主流,但人们目前只知其基本逻辑,内部如何相互影响并不清楚,其工作原理目前尚未得到严格的数学定义,因而不具有可解释性。类似古代中国工匠知道黑火药的制备方法,却无法解释其中的化学原理。

对议价能力与价格传导的影响

可解释性本质要从深度学习理论的角度来提供,其实不存在针对某个特定应用的深度网络可解释性。面向问题的算法处理流程的可解释性,和构造这个算法的过程的可解释性,是两回事。目前医学领域的可解释性实际上要求看到因果关系,而深度网络在挖掘因果性方面是弱项;即使网络构造出一条看似符合人类认知的逻辑链路,更大可能也是通过人为的网络结构设计获得的,而非机器学习本身发掘了该因果性。在这一阶段寻求可解释性,实质上是在追求人类对网络结构设计如何与医学问题自身逻辑匹配,极少可能出现人类对相应医学问题没有足够了解、却通过网络训练发现未知逻辑链条的情况。

这一约束如何传导至议价能力:产品若无法满足监管对可解释性的高要求,就难以进入医院采购与临床使用环节,其在产业链中的议价地位随之受限;反之,能够以人类可理解方式呈现工作流程的产品,更容易获得监管与医疗机构的认可,在价格传导中处于相对有利位置。当前阶段的可解释性更像一种循环论证——从人类自身对问题的理解出发设计网络,构造与已知认知匹配的工作流程,这也决定了议价能力的强弱在相当程度上取决于人类对医学问题本身的认知深度,而非单纯依赖训练规模。

常见问题

图灵机模型能说明AI医疗的什么约束?

图灵机模型说明计算机系统作为符号化形式系统,须遵从哥德尔不完备性定理,内部必然存在不能被证明或证伪的命题,逻辑能力存在边界。对应到AI医疗,这意味着面向医学影像等问题的可解释性要求,本质上是要求工作流程与人类对医学问题的认知一致,或可被人类理解。

可解释性为何会影响AI医疗的议价能力?

FDA与NMPA对AI医疗的可解释性都提出很高要求。可解释性直接关系到产品能否通过监管审查、进入医院采购与临床使用环节。无法满足要求的产品,在产业链中与医院、监管方及技术供应商的议价地位会受到明显限制。

面向问题的可解释性与构造算法的可解释性有何区别?

两者是两回事。面向问题的算法处理流程的可解释性,要求工作流程与人类对医学问题的认知一致;构造这个算法的过程的可解释性,则涉及深度学习理论层面的解释。目前并不存在针对某个特定应用的深度网络可解释性,只能说某个工具在工作原理上是可解释的。