AI医疗监管趋严,深度学习因果性弱项会否成为审批关键门槛?

会。在可见的将来,无论是 FDA 还是 NMPA,对 AI 医疗的可解释性都提出了很高要求,而深度学习和深度网络在挖掘因果性方面恰恰是弱项。 这意味着,当监管框架对算法可解释性、临床证据等级的要求不断提升时,深度学习在因果性上的短板就不再只是技术讨论,而会直接转化为产品注册审批时需面对的制度性门槛。约投顾认为,当前监管关注的核心已不仅是预测准确率,更在于模型工作流程能否被人类理解、能否与医学问题的认知逻辑一致。

监管趋势:从“看结果”到“看逻辑”

当前 AI 医疗监管的显著趋势,是对算法可解释性和临床证据等级的要求不断提高。监管机构之所以重视可解释性,是因为医学领域的可解释性实际上要求看到因果关系,而不仅是相关性。然而,目前主流的技术路线——基于神经网络模型的训练(如深度学习),其工作原理尚未得到严格的数学定义,内部如何相互影响并不清楚,因而不具有可解释性。这就像古代中国工匠知道黑火药的制备方法,却无法解释其中的化学原理。

因果性弱项为何成为审批难点

深度学习在因果性方面的弱项,直接导致企业在满足监管要求时面临证据链不足的问题。具体而言,即便网络真的构造了一条看起来符合人类认知的逻辑链路,更大可能也是通过人为的网络结构设计获得的,而非机器学习本身发掘了因果性。这意味着,寻求可解释性实质上是在追求人类对网络结构设计如何与医学问题自身逻辑匹配,本质上考验的是人类自己如何理解这个医学问题,而非 AI 独立发现了新的医学规律。

企业应对思路

面对这一挑战,企业在产品设计阶段就应将可解释性纳入考量,而非事后补救。由于完成目标任务的途径本质上有无穷多条,企业需要主动寻找符合人类认知特征的途径,通过人为的网络结构设计来匹配医学问题的逻辑。同时,即便 AI 有所发现,通常也是相关性而非因果性,还需要人类进一步验证相关性的存在,这一验证过程本身就是构建临床证据等级的重要环节。

常见问题

可解释性要求是否意味着深度学习路线走不通?

并非如此。可解释性本质要从深度学习理论的角度来提供,不存在针对某个特定应用的深度网络的可解释性,但面向问题的算法处理流程的可解释性和构造算法的过程的可解释性是两回事。企业可以通过网络结构设计来满足监管对工作流程可理解的要求。

监管机构是否只关注预测准确率?

不是。目前医学领域的可解释性实际上是要求看到因果关系的,监管对算法工作流程与人类医学认知的一致性提出了很高要求,而非仅看预测准确率这一单一指标。

AI 能否发现人类未知的医学规律?

极少可能。在网络训练中,极少可能出现人类在对相应医学问题没有足够了解的前提下,通过网络训练发现一个以前未知的逻辑链条。就算有所发现,通常也是相关性而非因果性,仍需人类进一步验证。