AI医疗的发展正处在从技术驱动转向合规驱动的关键拐点上。深度学习带来的“涌现”能力让AI在医学影像等场景展现出巨大潜力,但其内部工作机制的不可解释性,与FDA、NMPA等监管机构对可解释性的高要求之间形成了核心矛盾。 这一矛盾正倒逼行业从单纯追求算法性能,转向追求AI工作流程与人类医学认知的深度融合,标志着AI医疗进入了一个更成熟的循证发展阶段。

回顾AI技术的发展历程,主要分为两大路线:一是基于模型的运算能力(如深蓝),其工作原理有严格的数学定义,因此是可解释的;二是基于神经网络模型的训练(如阿法狗、ChatGPT),这是当前的主流,但内部如何相互影响并不清楚,工作原理尚未得到严格的数学定义,因而不具备可解释性。这种“知其然不知其所以然”的状态,在医疗这一关乎生命的特殊领域,成为了必须直面的问题。

可解释性的本质与挑战

在AI医疗领域,可解释性要求其工作流程和人类对医学问题的认知一致,或者其工作流程可以被人类所理解。然而,完成目标任务的途径本质上有无穷多条,要求任意一条途径都满足人类的理解模式并不现实。

更深层的挑战在于,医学领域的可解释性实际上要求看到因果关系,而深度学习在挖掘因果性方面恰恰是弱项。即便网络构造了一条看似符合人类认知的逻辑链路,更大可能也是通过人为的网络结构设计获得的,而非机器学习本身发掘的因果性。因此,当前阶段寻求可解释性,实质上是考验人类如何理解医学问题,并以此为基础进行网络结构设计。

监管推动下的行业转折

对于AI医疗的可解释性,无论是FDA还是NMPA,都提出了很高的要求。这种来自监管端的强约束,使得行业不可能像通用AI那样接受“涌现”的结果。监管的高要求并非阻碍,而是推动AI医疗从纯技术竞赛走向合规与医学认知融合的里程碑。

这种融合要求开发者必须从人类对医学问题已有的理解出发去设计网络,构造与已知认知匹配的工作流程。这意味着AI医疗的研发逻辑正在发生根本性转变:不再是单纯的数据驱动,而是循证医学与循证AI的结合。

常见问题

AI医疗的可解释性要求为何如此之高?

因为医疗决策关乎患者生命健康,监管机构需要AI的诊疗逻辑能被医学专家理解和验证。不同于通用AI可以接受“黑箱”输出,医疗场景必须建立因果链条,确保AI的推理过程符合医学认知,这是责任归属和患者安全的基础。

深度学习模型是否永远无法实现可解释性?

当前阶段的“可解释性”更像一个循环论证:从人类对问题的理解出发设计网络,再构造与已知认知匹配的工作流程。这并非要求AI完全模拟人脑,而是要求其工作流可被理解,这依赖于人类对医学问题本身的认知深度,而非单纯的技术突破。

监管趋严对AI医疗行业是利空还是利好?

从行业转折角度看是长期利好。监管的高标准虽然提高了研发门槛,但也筛除了不具备真实医学价值的伪创新,推动行业从技术竞赛转向合规与医学认知的融合。这引导企业将资源投入到真正理解医学问题与算法设计的结合上,为可持续的临床落地构建信任基础。