神经网络的黑盒特性（如1500亿参数模型内部机制不可解释）是AI医疗监管面临的核心挑战。目前，全球主要监管机构——包括中国国家药监局（NMPA）、美国食品药品管理局（FDA）和欧盟——均要求AI医疗产品具备一定程度的可解释性，但侧重点和审批框架有所不同。
可解释性：监管的核心矛盾
AI医疗的可解释性，本质是要求其工作流程与人类对医学问题的认知一致，或能被人类理解。然而，深度学习模型在挖掘因果性方面是弱项，目前的可解释性更多依赖人类通过网络结构设计来匹配医学问题的逻辑，而非模型自身发现新的因果链条。正因如此，无论是FDA还是NMPA，都对AI医疗的可解释性提出了很高要求。
主要市场的监管框架
FDA：SaMD审批框架
美国FDA对AI医疗产品采用基于风险的分级管理，即“医疗器械软件”（SaMD）审批框架。该框架要求开发者证明产品的安全性和有效性，但对算法透明度的具体标准仍在动态调整中，强调需结合临床验证来评估黑盒模型的可靠性。
中国NMPA：算法透明度要求
中国NMPA在AI医疗器械注册指导原则中，明确要求提交算法设计原理、训练数据、验证与确认过程等资料，尤其强调算法透明度。企业需说明模型的可解释性如何实现，例如通过可视化技术或逻辑规则补充，以证明其临床应用的合理性。
欧盟MDR：黑盒模型新规
欧盟《医疗器械法规》（MDR）对黑盒模型提出了更严格的审查要求。监管机构倾向于要求AI产品提供可追溯的决策路径，若模型完全不可解释，可能需要提供额外的临床证据或限制其适用范围。
常见问题
为什么黑盒问题在AI医疗中特别突出？
因为医疗决策直接关系患者安全。监管机构需要确保AI的推荐或诊断结果可被医生验证和信任，而黑盒模型内部机制不透明，增加了风险管控的难度。
目前是否有完全解决黑盒问题的技术方案？
没有。当前的可解释性更多是通过网络结构设计或后处理技术（如注意力图）来实现，但尚未能从理论层面彻底解决深度网络的不可解释性。
未来监管趋势会如何演变？
预计监管将更强调“临床验证”与“过程透明”的结合，允许一定程度的黑盒存在，但要求企业提供充分的实证数据证明其安全性和有效性。