FDA与NMPA对AI医疗可解释性的要求正持续趋严,这意味着产业链中游算法企业与下游医院必须在数据标注、算法透明化设计等环节协同投入,构建符合监管的合规体系。可解释性并非单纯的技术指标,而是要求AI医疗的工作流程与人类对医学问题的认知保持一致、且能被人类所理解,这决定了单一环节无法独立满足监管,需要全链条的深度协作。
可解释性的本质与监管共识
无论是FDA还是NMPA,对AI医疗可解释性的高要求源于医学领域的特殊性。资料指出,医学领域的可解释性实质上是要求看到因果关系,而目前深度网络和深度学习在挖掘因果性方面是弱项。即使网络构造出看起来符合人类认知的逻辑链路,更大可能是通过人为的网络结构设计获得的,而非机器学习本身发掘了因果性。
这意味着,当前阶段寻求可解释性,本质上是在追求人类对网络结构设计如何与医学问题自身逻辑相匹配。对中游算法企业而言,合规成本不仅体现在模型训练上,更体现在训练数据的可追溯性、网络结构设计的医学逻辑匹配度等前期投入上。
中游算法企业与下游医院的协同路径
对下游医院而言,采购与临床应用中对可解释性的需求是刚性的——医生需要理解AI的判断依据,才能建立临床信任。而中游算法企业面临的挑战在于,面向问题的算法处理流程的可解释性,与构造算法的过程的可解释性是两回事。
有效的协同路径包括:联合开发,让临床医生深度参与网络结构设计,使算法流程与医学认知天然对齐;透明化接口,将AI的判断逻辑以临床可理解的方式呈现,而非输出不可追溯的结论。资料明确指出,人类极少可能在对医学问题没有足够了解的前提下,通过网络训练发现未知的逻辑链条——即便有所发现,也多为相关性而非因果性,仍需人类验证。因此,医院端的医学认知输入,恰恰是中游算法企业满足可解释性要求的关键前提。
常见问题
可解释性要求是否意味着深度学习路线走不通?
并非如此。资料指出,完成目标任务的途径本质上有无穷多条,不符合人类认知特征的途径不等于不可用。可解释性的实现依赖人为的网络结构设计来匹配医学问题逻辑,而非要求所有算法路径都符合人类理解模式。
上游数据服务商在协同中有何参与机会?
上游数据服务商的参与机会主要体现在训练数据的可追溯性建设上。由于可解释性要求工作流程与人类医学认知一致,高质量、可追溯、带医学逻辑标注的数据,是中游算法企业设计可解释网络结构的基础资源。
医院在协同中应承担什么角色?
医院不应只是AI产品的终端使用者。由于可解释性本质上是“从人类自己对问题的理解出发设计网络”,医院作为医学认知的持有方,应在联合开发中输出临床逻辑与验证反馈,帮助算法企业构造与已知认知匹配的网络工作流程,而非被动接受“黑箱”结果。