AI医疗国产替代的关键瓶颈之一在于可解释性:当前主流的深度学习路线(如医学影像AI)内部工作机制尚未得到严格的数学定义,而NMPA等监管机构对AI医疗的可解释性提出了很高要求。自主可控的突破路径,核心是在本土化数据、算法设计与临床验证之间建立信任闭环,而非简单复刻海外模型。

可解释性为何成为国产替代的“硬约束”

AI医疗存在两条技术路线:一类是基于模型的运算能力(如知识图谱),原理有严格数学定义,可解释;另一类是基于神经网络模型的训练(如深度学习),虽为当前主流,但内部如何相互影响并不清楚,不具备可解释性。这类似于古代工匠掌握黑火药的制备方法,却无法解释其中的化学原理。

监管层面,无论是FDA还是NMPA,对AI医疗的可解释性都提出了很高的要求。针对医学影像AI,可解释性本质上是要求其工作流程与人类对医学问题的认知一致,或至少能被人类理解。

自主可控的突破路径:从数据、算法到临床验证

1. 数据层面:构建本土化训练与验证体系

深度学习的表现高度依赖训练数据。自主可控的起点在于建立符合中国人群特征、疾病谱系和医疗流程的本土化数据体系,使模型的工作流程更贴近国内临床医生的认知习惯。脱离了本土数据的模型,即便算法再先进,其“可解释性”也难以在临床落地。

2. 算法层面:正视深度学习在因果挖掘上的弱项

目前深度网络在挖掘因果性方面是弱项。即使网络构造出一条看似符合人类认知的逻辑链路,更大可能是通过人为的网络结构设计获得,而非机器学习自发发掘了因果性。这意味着,自主可控的算法创新不应盲目追求端到端的黑箱,而应结合医学问题本身的逻辑,通过结构设计让模型流程可被追溯、可被理解。

3. 临床验证层面:建立“人类理解优先”的信任机制

可解释性的实现,实质上是在考验人类自己如何理解医学问题。极少可能出现人类在对医学问题没有足够了解的前提下,通过网络训练发现未知逻辑链条;即便有所发现,也多为相关性而非因果性,仍需人类进一步验证。因此,自主可控路径必须将临床专家的深度参与前置——从问题定义、网络设计到结果验证,形成由人类认知主导、AI辅助的闭环。

常见问题

为什么深度学习模型的“涌现”能力难以被医疗监管接受?

因为监管要求的是因果关系,而深度学习擅长的是相关性拟合。正如OpenAI CEO公开承认的,ChatGPT为何出现归纳推理能力,研究者自己并不完全清楚。医疗场景关乎生命健康,监管机构无法接受一个“说不清为什么”的结论作为诊断依据。

可解释性不足是否意味着国产AI医疗无法落地?

并非如此。可解释性分为“工具工作原理可解释”和“具体工作流程可解释”两个层面。前者是可行的,后者则不必强求每条路径都符合人类理解模式。国产替代的可行策略是在关键决策节点上实现人类可理解的逻辑匹配,而非追求全流程透明。

自主可控与全球AI技术发展是什么关系?

自主可控不等于闭门造车。图灵曾指出,人类思维与计算机智能可以不同方式实现,不必以人类思维为模板。国产AI医疗的自主可控,核心在于掌握数据主权、算法设计主导权和临床验证话语权,在全球技术基础上构建符合本土监管与临床需求的解决方案。

延伸阅读