AI医疗的可解释性之所以看起来像循环论证,是因为它本质上并非要求算法自行“讲出”一套因果逻辑,而是要求网络结构设计与医学问题自身的逻辑相匹配——这考验的是人类如何理解这个医学问题。正因如此,AI医疗的价值分配不会只落在算法本身:单纯依靠算法授权难以捕获全部价值,能够把医学认知转化为网络结构设计与验证能力的机构,在价值分配中更占有利位置,数据与医生认知因此成为与算法并列的关键环节。

可解释性为什么像循环论证

在可见的将来,人类并不接受AI医疗的“涌现”,无论是FDA还是NMPA,对AI医疗的可解释性都提出了很高要求。可解释性本质要从深度学习理论的角度提供,并不存在针对某个特定应用的深度网络可解释性;面向问题的算法处理流程的可解释性,与构造这个算法的过程的可解释性,是两回事。

针对医学影像AI问题,所谓可解释性,就是要求其工作流程与人类对医学问题的认知一致,或至少可以被人类理解。但完成目标任务的途径本质上有无穷多条,不可能要求每一条都符合人类的理解模式。医学领域的可解释性目前要求看到因果关系,而深度网络在挖掘因果性方面是弱项;即使网络真的构造出一条看起来符合人类认知的逻辑链路,更大可能也是通过人为的网络结构设计获得的,而不是机器学习本身发掘了这个因果性。

因此,这个阶段寻求可解释性,实质上是在追求人类对网络结构设计如何与医学问题自身逻辑相匹配,本质上还是在考验人类自己如何理解这个医学问题。极少可能出现人类对相应医学问题没有足够了解、却通过网络训练发现一条以前未知逻辑链条的情况;就算有所发现,也更可能是相关性而非因果性,仍需人类进一步验证。从这个意义上说,可解释性确实像一个循环论证:从人类自己对问题的理解出发设计网络,构造一个与人类已知认知匹配的网络工作流程。

价值在算法、数据与医生认知之间如何分配

这一特性直接改写了AI医疗商业模式的分配逻辑。基于模型的运算能力路线(如知识图谱、深蓝)有严格数学定义,是可解释的;基于神经网络模型的训练路线(如深度学习、阿法狗)是目前的主流,人们只知基本逻辑,内部如何相互影响并不清楚,工作原理尚未得到严格数学定义,因而不具有可解释性。当主流技术路线本身无法自证其工作流程时,单靠算法授权就很难覆盖全部价值。

价值因此向两端迁移。一端是数据,尤其是能支撑相关性验证与合规验证的数据;另一端是医生认知,即把医学问题自身的逻辑讲清楚、并转化为网络结构设计约束的能力。谁能完成这种转化与验证,谁就在价值分配中更占主动。这也解释了为何可解释性要求越高的场景,价值越不会停留在算法本身。

常见问题

可解释性要求会让AI医疗的商业价值缩水吗?

不会简单缩水,而是改变价值落点。由于可解释性实质上考验人类对医学问题的理解,价值会更多流向能把医学认知转化为网络结构设计与验证能力的机构,而非只提供算法的一方。

为什么说单纯算法授权难以捕获全部价值?

目前主流的神经网络训练路线只具备基本逻辑的可知性,内部相互影响并不清楚,工作原理尚未得到严格数学定义。在可解释性要求下,算法需要与医学问题自身的逻辑匹配,这种匹配依赖数据与医生认知,单靠授权无法完成。

医生认知在AI医疗中扮演什么角色?

医生认知是网络结构设计的起点与验证的终点。可解释性要求工作流程与人类对医学问题的认知一致,而因果性挖掘恰是深度网络的弱项,因此需要医生把医学问题的逻辑显性化,并参与相关性的进一步验证。