AI医疗的因果推断能力较弱,其核心挑战在于当前主流深度学习模型的工作流程缺乏可解释性,这使得监管机构在审批、责任认定等环节面临新难题。无论是美国FDA还是中国NMPA,都对AI医疗产品的可解释性提出了严格要求,相关政策正在围绕这一方向加速制定标准。
可解释性与因果推断的困境
AI医疗的可解释性,本质上是要求其工作流程与人类对医学问题的认知一致,或能被人类理解。然而,目前深度学习在挖掘因果性方面是弱项。即使网络能构造出看似符合人类认知的逻辑链路,这通常也是通过人为的网络结构设计获得的,而非机器学习本身发掘了因果关系。这意味着,在这个阶段寻求可解释性,更像一个循环论证——从人类已知认知出发设计网络,再验证其匹配度。
政策与监管的应对
全球主要监管机构对AI医疗器械的可解释性要求极高。中国NMPA在相关指导原则中,对可解释性提出了明确条款,要求AI医疗产品的工作流程能被审查和理解。由于缺乏可解释性,部分AI医疗产品在注册审批中可能面临延迟,因为监管机构需要确认其决策链条的可靠性,而非仅依赖其最终输出结果。
常见问题
### 为什么AI医疗的因果推断能力弱?
因为当前主流的深度学习模型基于神经网络训练,其内部参数如何相互影响并不清楚,工作原理尚未得到严格的数学定义,因此难以挖掘和呈现直接的因果关系。
### 监管机构对可解释性有哪些具体要求?
无论是FDA还是NMPA,都要求AI医疗产品的工作流程与人类对医学问题的认知一致,或能被人类理解。这本质上是要求产品设计者从已知医学逻辑出发,构造可解释的网络结构。
### 缺乏可解释性对AI医疗企业有何影响?
缺乏可解释性可能导致产品在注册审批中面临延迟,增加企业的合规成本。企业需要投入更多资源在可解释的网络结构设计上,而非仅依赖模型自身的训练结果。