ChatGPT的归纳推理能力来源成谜，而AI医疗在医学影像等下游应用中却要求工作流程与人类认知一致——这构成了AI医疗落地的核心张力：模型内部机制不可解释，并不等于产品不可用，关键在于通过产品设计让医生理解并信任AI输出。
可解释性：从模型机制到工作流程
ChatGPT这类大模型基于神经网络训练，研究人员使用梯度下降等算法训练拥有1500亿个参数的人工神经网络，但对其中细节并不完全掌握。在公开访谈中，OpenAI CEO萨姆·阿尔特曼也坦言，ChatGPT为何会出现归纳推理能力，研究者自己也搞不明白。
AI医疗面临的问题与此不同。针对医学影像AI问题，所谓的可解释性，说白了就是要求其工作流程和人类对医学问题的认知一致，或者其工作流程可以被人类所理解。这并不意味着AI的每一步内部计算都必须透明，而是强调AI输出的推理过程应当能被医生复盘、核对和质疑。
产品设计：让医生理解AI的“思考路径”
在模型内部机制不可解释的情况下，产品设计成为建立信任的关键。医学影像AI可以通过以下方式让医生理解并信任其输出：
- 呈现与人类认知一致的工作流程：让AI的算法处理流程与医生熟悉的阅片逻辑对齐，例如先定位病灶区域，再给出分类判断，而非直接输出一个“黑盒”结论。
- 强调人为网络结构设计的作用：目前深度网络在挖掘因果性方面是弱项，即使网络构造出符合人类认知的逻辑链路，更大可能也是通过人为的网络结构设计获得的，而非机器学习本身发掘了这个因果性。这意味着，AI产品背后的医学逻辑设计，本身就是可解释性的来源。
- 将可解释性视为人类理解的延伸：这个阶段寻求可解释性，实质上是在追求人类对网络结构设计如何与医学问题自身的逻辑匹配。医生对AI的信任，建立在对产品设计逻辑的认可之上，而非对模型内部机制的完全掌握。
常见问题
AI医疗必须做到完全可解释才能获得医生信任吗？
不必。完成目标任务的途径本质上有无穷多条，不可能要求任意一条途径都满足人类的理解模式。只要AI的工作流程与人类对医学问题的认知一致，或可以被人类理解，就具备了临床可接受的可解释性。
深度学习的“黑盒”特性是否阻碍了AI医疗落地？
确实构成挑战，但并非不可逾越。目前医学领域的可解释性实际上要求看到因果关系，而深度学习在挖掘因果性方面是弱项。通过人为设计网络结构，使AI工作流程与已知医学认知匹配，是当前可行的路径。
医生如何判断一个医学影像AI是否值得信任？
关键在于审视其工作流程是否符合医学逻辑。如果AI的算法处理流程与人类对医学问题的认知一致，医生就可以在理解的基础上进行复核与判断。对AI输出的信任，本质上建立在对产品设计逻辑的认可之上。