AI医疗在可解释性上的不足，是投资者评估模型风险的核心挑战。当前，医学影像AI要求工作流程与人类认知一致，但深度网络在挖掘因果性方面是弱项，这导致模型可能产生相关性而非因果性的结论，增加误诊或合规风险。投资者应重点考察模型的透明度（如工作流程是否可理解）、验证标准（如是否通过FDA或NMPA的审批要求）以及监管动态，以量化这一不确定性。
可解释性的本质与局限性
可解释性并非针对特定AI应用，而是要求其工作流程与人类对医学问题的认知一致。然而，由于完成目标任务的途径有无数条，无法保证每条都符合人类理解。深度学习和深度网络在挖掘因果性上较弱，即使网络呈现符合人类认知的逻辑链路，也更多源于人为设计，而非机器学习自身发掘的因果性。这意味着，当前阶段的可解释性更像一种循环论证：从人类已知的医学逻辑出发设计网络，而非发现未知的因果链条。
投资评估的关键维度
投资者需从以下方面评估模型风险：
- 工作流程透明度：模型内部逻辑是否可被人类审查？例如，基于模型运算能力（如知识图谱）的AI通常可解释，而基于神经网络训练（如深度学习）的AI则内部机制不透明。
- 验证与监管：FDA和NMPA对AI医疗的可解释性要求严格。投资者应关注产品是否已通过审批，以及其验证流程是否覆盖因果关系验证。
- 潜在风险案例：可解释性不足可能导致模型将相关性误判为因果性，例如影像分析中错误关联病灶与特征，引发误诊或合规风险。
常见问题
为什么深度网络在因果性上是弱项？
深度网络通过训练参数发现相关性，但挖掘因果性并非其强项。即使网络输出符合人类逻辑，也通常是通过人为结构设计实现，而非模型自主发掘的因果关系。
如何判断AI医疗模型的透明度？
关注模型的技术路线：基于模型运算能力（如知识图谱）的AI通常有严格数学定义，可解释性高；而基于神经网络训练的AI，其内部参数如何相互影响并不清楚，透明度较低。
监管机构对可解释性有何要求？
FDA和NMPA对AI医疗的可解释性有明确要求，核心是工作流程需与人类认知一致。投资者应核查产品是否已通过相关审批，以及其验证流程是否覆盖因果链验证。