从深度学习因果性缺陷被认识到监管趋严,AI医疗行业经历了从技术乐观到临床审慎、从模糊可解释到监管强化的关键转折。早期行业对深度学习寄予厚望,但随着临床落地,其因果性挖掘能力弱、工作流程缺乏可解释性的缺陷逐渐暴露,促使FDA与NMPA等监管机构对AI医疗产品提出更高的可解释性要求,行业由此从狂热走向理性。
早期乐观与技术的“涌现”困境
AI医疗的早期乐观源于深度学习的强大表现。AI发展出两大技术路线:一类是基于模型的运算能力(如深蓝),其工作原理有严格的数学定义、可解释;另一类是基于神经网络模型的训练(如阿法狗、ChatGPT),通过训练调节参数,但内部如何相互影响并不清楚,工作原理尚未得到严格的数学定义,因而不具有可解释性。这种“涌现”能力虽然惊艳,却为医疗应用埋下了隐患。
因果性缺陷与临床质疑
在医学领域,可解释性本质上要求看到因果关系,而目前深度网络和深度学习在挖掘因果性方面是弱项。即便网络构造出看似符合人类认知的逻辑链路,更大可能也是通过人为的网络结构设计获得,而非机器学习本身发掘了因果性。这意味着,即便AI在医学影像等任务中有所发现,大概率是相关性而非因果性,仍需人类进一步验证。这一缺陷引发了临床端的深刻质疑,也催生了行业对AI医疗安全性的重新审视。
监管趋严与行业理性化
面对可解释性难题,监管机构的态度成为行业拐点的重要推手。无论是FDA还是NMPA,对于AI医疗的可解释性都提出了很高的要求。监管的强化迫使企业从单纯追求模型性能,转向重视工作流程与人类医学认知的一致性。行业逐渐认识到,在可见的将来,人类不会接受AI医疗的“涌现”式输出,可解释性成为AI医疗产品落地的硬性门槛,行业由此进入理性发展阶段。
常见问题
AI医疗的可解释性具体指什么?
针对医学影像AI问题,可解释性就是要求其工作流程和人类对医学问题的认知一致,或者其工作流程可以被人类所理解。但完成目标任务的途径本质上有无穷多条,不可能要求任意一条途径都符合人类理解模式。
深度学习为什么难以满足医疗领域的可解释性要求?
因为医学领域的可解释性要求看到因果关系,而深度学习在挖掘因果性方面是弱项。即使网络构造出符合人类认知的逻辑链路,也更多是人为设计的结果,而非机器学习本身发掘的因果性。
监管对AI医疗可解释性的要求意味着什么?
这意味着可解释性成为AI医疗产品合规与落地的必要条件。FDA与NMPA均对此提出很高要求,企业需要在网络结构设计与医学问题逻辑匹配上投入更多精力,而不是单纯依赖模型的涌现能力。