面对AI医疗中难以解释的归纳推理能力,监管政策应转向基于行为表现的审批路径与动态追踪框架,而非执着于原理层面的完全可解释。ChatGPT这类大模型的核心是基于神经网络模型的训练,研究人员只知其基本逻辑,内部如何相互影响并不清楚,OpenAI CEO萨姆·阿尔特曼在公开访谈中也坦言,ChatGPT为何会出现归纳推理能力,研究者自己搞不明白。这意味着,要求AI医疗产品在原理上完全透明,在可见的将来难以实现,监管需要从“证明它如何工作”转向“验证它稳定可靠地工作”。

可解释性困境的本质

AI技术存在两条路线:基于模型的运算能力(如深蓝)有严格的数学定义,因此可解释;而基于神经网络模型的训练(如阿法狗、ChatGPT)模拟人类思维方式,工作原理尚未得到严格的数学定义,因而不具有可解释性。这类似于古代中国工匠知道黑火药的制备方法,但无法解释其中的化学原理。

在医学领域,可解释性实质上是要求工作流程与人类对医学问题的认知一致。但完成目标任务的途径本质上有无穷多条,不可能要求每条途径都符合人类理解模式。更深层的问题是,医学领域的可解释性要求看到因果关系,而深度网络在挖掘因果性方面恰恰是弱项——即便网络构造出看似符合人类认知的逻辑链路,更大概率是人为网络结构设计的结果,而非机器学习本身发掘的因果性。

监管路径:从原理审批到行为监管

面对这种不可解释性,监管需要建立以行为表现为核心的审批逻辑。既然原理不可知,就应验证输出端的稳定性、安全性与一致性——在大量真实与边缘场景中,模型是否给出可靠且可重复的结果。这类似于图灵测试的思路:不追问机器如何思考,只检验其行为是否无法与人类区分。

同时,动态监管框架不可或缺。由于模型的归纳推理能力是训练中“涌现”出来的,而非预先设计,其能力边界会随迭代而变化。监管应要求产品上市后持续提交行为监测数据,建立风险分级响应机制,而非一次性审批后放任不管。毕竟,如果研究者自己都搞不明白能力如何出现,静态审批就无法覆盖未来的行为演化。

常见问题

监管是否应放弃对可解释性的要求?

不是放弃,而是重新定义。在可见的将来,人类不接受AI医疗的涌现,FDA和NMPA对可解释性都提出了很高要求。但可解释性应区分两个层面:工具工作原理的可解释性,与具体工作流程的可解释性。前者是审批的前提,后者在深度学习中往往不可行,不应作为硬性门槛。

如何验证一个原理不可解释的AI医疗产品是否安全?

应以行为验证替代原理验证。通过大规模、多样化的临床场景测试,检验其输出是否稳定、安全、可重复。同时,即便AI发现了人类未知的逻辑链条,那大概率是相关性而非因果性,需要人类进一步验证——这本身就是监管审查中人类专家介入的环节。

动态监管具体如何操作?

核心是建立上市后的持续监测与再评估机制。由于模型能力可能随训练与迭代而涌现新特征,监管应要求产品定期提交真实世界运行数据,并针对行为漂移设置风险触发条件。这种框架既为创新保留了空间,又通过持续追踪守住安全底线,是包容与审慎的平衡点。