FDA 与 NMPA 对 AI 医疗的可解释性都提出了很高要求，中国自主可控路线更可能围绕本土医学认知与网络结构设计展开，而非简单复制海外黑箱模型。 可解释性的本质，是要求 AI 的工作流程与人类对医学问题的认知一致，或至少能被人类理解。由于深度网络在挖掘因果性方面本身是弱项，即便网络呈现出看似符合人类认知的逻辑链路，更大可能也是通过人为的网络结构设计获得，而非机器学习自行发现了因果性。因此在这一阶段追求可解释性，实质上是在追求人类对网络结构设计如何与医学问题自身逻辑相匹配，考验的仍是人类自己如何理解这个医学问题。
可解释性为何成为监管共同门槛
无论 FDA 还是 NMPA，对 AI 医疗的可解释性都提出了很高要求。资料指出，在可见的将来里，人类不接受 AI 医疗的涌现。
这背后是技术路线的分野。AI 形成了两大类技术路线：一类是基于模型的运算能力，如知识图谱、深蓝，其工作原理有严格的数学定义，因而是可解释的；另一类是基于神经网络模型的训练，如深度学习、阿法狗，训练法是目前的主流，但人们目前只知其基本逻辑，内部如何相互影响并不清楚，工作原理尚未得到严格的数学定义，因而不具有可解释性。
医学领域要求的可解释性实际上是要看到因果关系，而深度网络恰恰在因果性挖掘上是弱项，这就构成了监管高要求与技术现实之间的张力。
自主可控路径为何不同于黑箱复制
可解释性本质要从深度学习理论的角度来提供，其实并不存在针对某个特定应用的深度网络可解释性。面向问题的算法处理流程的可解释性，与构造这个算法的过程的可解释性，是两回事。
完成目标任务的途径本质上有无穷多条，不可能要求任意一条途径都满足人类的理解模式。除非真正找到一条符合人类认知特征的途径——但这不等于说不符合人类认知特征的途径就不可用。
这正指向中国自主可控路线的着力点：可解释性像一个循环论证，从人类自己对问题的理解出发设计网络，构造一个与人类已知认知匹配的网络工作流程。 极少可能出现人类在对相应医学问题没有足够了解的前提下，通过网络训练发现一个以前未知的逻辑链条；就算有所发现，也应归为相关性而非因果性，还需要人类进一步验证相关性的存在。因此，本土医学认知与网络结构设计的结合，是比复制海外黑箱模型更现实的路径。
常见问题
为什么 AI 医疗的可解释性要求如此之高？
因为无论 FDA 还是 NMPA，对 AI 医疗的可解释性都提出了很高要求，人类在可见的将来不接受 AI 医疗的涌现。医学领域的可解释性实际上要求看到因果关系，而当前主流深度学习在因果性挖掘上是弱项，监管要求因此显得格外严格。
可解释性是否意味着 AI 必须复现人类的推理方式？
并非如此。完成目标任务的途径本质上有无穷多条，不可能要求任意一条都满足人类的理解模式。所谓可解释性，是要求其工作流程与人类对医学问题的认知一致，或可被人类理解，而不等于不符合人类认知特征的途径就不可用。
中国自主可控路线的关键突破点在哪里？
关键在于从人类自己对医学问题的理解出发设计网络，构造与已知认知匹配的网络工作流程。这本质上是考验人类如何理解医学问题，而非指望网络训练自行发现未知的因果链条。