AI医疗的深度学习“黑箱”问题，即模型内部决策过程难以被人类完全理解，正成为全球监管的核心挑战。目前，各国监管部门（如中国NMPA、欧盟委员会）已开始要求医疗AI产品满足可解释性与可追溯性，但完全破解黑箱在技术上仍存在根本性局限。
AI医疗的黑箱本质
AI医疗的“黑箱”问题根源于其技术路线。当前主流的深度学习模型（如ChatGPT背后的神经网络）通过训练拥有海量参数的模型来完成任务，其工作原理尚未得到严格的数学定义。正如OpenAI CEO萨姆·阿尔特曼在公开访谈中坦言，研究者自己也不完全清楚模型为何会突然出现归纳推理能力——这种涌现现象使得内部细节难以被人类掌控。与此不同，基于模型的运算能力（如知识图谱）则有严格的数学定义，因此是可解释的。
监管对可解释性的要求
在医疗领域，可解释性的本质是要求AI的工作流程与人类对医学问题的认知一致，或者其工作流程可以被人类所理解。无论是FDA还是NMPA，都对AI医疗的可解释性提出了很高要求。然而，由于完成目标任务存在无穷多条途径，要求每一条都符合人类理解模式并不现实。目前，医学领域的可解释性实际上要求看到因果关系，但深度学习在挖掘因果性方面是弱项。因此，现阶段寻求可解释性，更多是在考验人类如何设计网络结构来匹配医学问题本身的逻辑，而非机器学习自主发掘因果链。
常见问题
为什么AI医疗的“黑箱”难以审计？
因为深度学习模型的工作流程缺乏严格的数学定义，其内部参数如何相互影响并不清楚。即使网络构造了一条看似符合人类认知的逻辑链路，更大可能也是通过人为的网络结构设计获得的，而非机器学习本身发掘了因果性。
中国监管部门对AI医疗可解释性的要求是什么？
中国NMPA要求部分AI医疗器械提交算法验证材料，但黑箱问题仍使审计困难。可解释性要求本质上是在追求人类对网络结构设计与医学问题逻辑的匹配，极少出现通过网络训练发现以前未知逻辑链条的情况。
未来监管趋势如何应对黑箱困境？
监管趋势要求企业提供可解释性工具或配套规则模型。欧盟AI法案已将医疗AI列为高风险类别，要求可追溯性与透明度。但受限于技术本身——深度网络在挖掘因果性方面的弱项——完全解决黑箱问题仍面临根本性挑战。