医学影像AI的可解释性,本质上是在要求算法的工作流程与人类对医学问题的认知保持一致。但完成同一目标任务的途径在理论上无穷多,一条看似符合人类认知的逻辑链路,更大可能是通过人为的网络结构设计获得的,而非机器学习本身发掘了因果性。这一判断为区分AI医疗厂商的真伪能力提供了核心标尺:真正稀缺的不是展示一条漂亮的推理路径,而是对人类如何理解该医学问题的把握,以及据此完成网络结构设计与临床验证的能力。
可解释性的循环论证特征
从深度学习理论角度看,可解释性并非针对某个特定应用的现成属性。我们只能说某个工具在原理层面可解释,而要求其具体工作流程完全可解释,有时并不一定可行——面向问题的算法处理流程的可解释性,与构造这个算法过程的可解释性,是两回事。
医学领域的可解释性实际上要求看到因果关系,而深度网络在挖掘因果性方面恰是弱项。因此在这个阶段寻求可解释性,实质上是在追求人类对网络结构设计如何与医学问题自身逻辑相匹配,考验的仍是人类自己如何理解这个医学问题。极少可能出现人类对相应医学问题缺乏足够了解、却通过网络训练发现未知逻辑链条的情况;即便有所发现,也更可能是相关性而非因果性,仍需人类进一步验证。
真伪能力的分水岭
据此,AI医疗行业的竞争格局可以沿两个维度观察:
| 能力维度 | 真实能力的表现 | 包装型能力的表现 |
|---|---|---|
| 网络结构设计 | 从对医学问题的理解出发设计结构 | 以可视化输出替代结构设计本身 |
| 因果性处理 | 承认相关性局限,交由人类验证 | 将相关性直接表述为因果发现 |
| 临床验证 | 以工作流程可被人类理解为前提 | 以演示效果替代系统性验证 |
监管层面同样指向这一方向:无论是FDA还是NMPA,对AI医疗的可解释性都提出了很高的要求,在可见的将来,人类并不接受AI医疗的“涌现”。这意味着厂商无法绕开可解释性这一关,而只能选择以何种方式满足它。
龙头能力的梳理逻辑
对投资者与医院而言,梳理龙头厂商的能力,关键不在于其是否展示了符合认知的推理链路——因为这条链路本身可能由人为设计获得——而在于其是否具备两样东西:一是对相应医学问题的深度理解,二是将这种理解转化为网络结构设计并完成临床验证的工程能力。
值得注意的是,AI技术路线本身分为两类:基于模型运算能力的路线(如知识图谱、深蓝)有严格数学定义,是可解释的;基于神经网络训练的路线(如深度学习、阿法狗)是当前主流,但内部如何相互影响尚不清楚,原理尚未得到严格数学定义。医学影像AI多属后者,这也决定了其可解释性建设只能走“人类理解先行”的路径。
常见问题
为什么说医学影像AI的可解释性接近循环论证?
因为它从人类自己对问题的理解出发设计网络,再构造一个与人类已知认知匹配的网络工作流程。完成任务的途径无穷多,被展示的那条链路未必是机器发掘的因果链,而更可能是人为设计的结果。
投资者应如何识别AI医疗厂商的真实技术能力?
重点看其是否具备对医学问题的深度理解,以及将这种理解转化为网络结构设计的能力。仅凭可解释性演示不足以判断,因为演示链路本身可能由人为设计获得,还需结合临床验证情况综合评估。
可解释性要求对AI医疗行业格局意味着什么?
它构成了一道实质性门槛。FDA与NMPA均对AI医疗可解释性提出很高要求,厂商必须让工作流程与人类对医学问题的认知一致或可被理解,这使竞争焦点回到人类对医学问题本身的理解深度上。