AI医疗的主流技术路线基于神经网络模型训练，其内部工作原理尚未得到严格的数学定义，因而不具有可解释性。这种认知不透明正在重塑产业链的议价格局：上游算法与算力供应商因技术黑箱而具备更强议价能力，中游产品开发商需承担合规解释成本，下游医疗机构和患者面对不可解释的诊断建议时定价接受度受限，而监管机构作为第三方实质上参与了价格形成过程。 可解释性本质上是要求人类对网络结构设计与医学问题逻辑相匹配，这决定了价格传导路径中各方的话语权分配。
技术黑箱如何形成上游议价优势
AI在近年来形成了两大类技术路线：一类是基于模型的运算能力（如知识图谱、深蓝），其工作原理有严格的数学定义，是可解释的；另一类是基于神经网络模型的训练（如深度学习、阿法狗），通过确定人工神经模型并经训练得到参数被调节好的网络。后者是目前的主流，但人们目前还只知其基本逻辑，内部如何相互影响并不清楚。
这类似于古代中国工匠知道黑火药的制备方法，却无法解释其中的化学原理。研究人员使用梯度速降等算法训练拥有1500亿个参数的人工神经网络，但对其中细节并不掌握。OpenAI公司CEO萨姆·阿尔特曼也坦言，ChatGPT为何会出现归纳推理能力，研究者自己搞不明白。这种“知其然不知其所以然”的状态，使掌握训练方法与算力资源的供应商在产业链中处于难以被替代的位置，议价能力自然向上游集中。
中游合规成本与下游定价接受度的双重挤压
可解释性本质要从深度学习理论的角度来提供，其实不存在针对某个特定应用的深度网络可解释性。面向问题的算法处理流程的可解释性与构造这个算法的过程的可解释性是两回事。针对医学影像AI问题，可解释性要求其工作流程和人类对医学问题的认知一致，或可被人类理解。
但完成目标任务的途径本质上有无穷多条，不可能要求任意一条途径都满足人类的理解模式。目前医学领域的可解释性实际上要求看到因果关系，而深度网络和深度学习在挖掘因果性方面是弱项。即使网络构造了一条看似符合人类认知的逻辑链路，更大可能也是通过人为的网络结构设计获得的，而非机器学习本身发掘了这个因果性。
这意味着中游开发商必须投入额外资源进行网络结构设计与医学逻辑的匹配验证，承担合规解释成本。下游医疗机构和患者面对不可解释的诊断建议时，定价接受度受限——因为无法从原理上判断建议的可靠性，支付意愿难以充分释放。
监管作为第三方参与价格形成
无论是FDA还是NMPA，对于AI医疗的可解释性都提出了很高的要求。在这个阶段寻求可解释性，实质上是在追求人类对网络结构设计如何与医学问题自身逻辑匹配，这本质上是在考验人类自己如何理解这个医学问题。
极少可能出现人类在对相应医学问题没有足够了解的前提下，通过网络训练发现一个以前未知的逻辑链条。就算有所发现，其实也应该是相关性而非因果性，还需要人类进一步验证相关性的存在。所以这个意义上的可解释性像一个循环论证：从人类自己对问题的理解出发设计网络，构造一个与人类已知认知匹配的网络工作流程。监管标准由此成为价格传导路径中的关键变量，实质上参与了产业链各环节的定价权分配。
常见问题
为什么说AI医疗的可解释性像黑火药制备？
古代中国工匠知道黑火药的制备方法，但无法解释其中的化学原理。AI医疗的主流技术路线基于神经网络模型训练，人们目前只知其基本逻辑，内部如何相互影响并不清楚，工作原理尚未得到严格的数学定义，因此不具有可解释性，二者在“知其然而不知其所以然”上高度相似。
可解释性要求为什么难以在深度网络中直接实现？
医学领域的可解释性实际上要求看到因果关系，而深度网络和深度学习在挖掘因果性方面是弱项。即使网络构造出看似符合人类认知的逻辑链路，更大可能也是通过人为的网络结构设计获得的，而非机器学习本身发掘了这个因果性。因此，现阶段的可解释性实质上是在考验人类如何理解医学问题本身。
监管要求如何影响产业链各环节的定价权？
FDA和NMPA对AI医疗可解释性提出很高要求，而可解释性本质上是要求人类对网络结构设计与医学问题逻辑匹配。中游开发商需承担合规解释成本，下游面对不可解释的诊断建议时定价接受度受限，监管机构作为第三方实质上参与了价格形成过程，上游因技术黑箱而具备更强议价能力。