大模型用于临床决策的有效性：11种验证范式

近日，两位意大利学者在 JMIR AI 发表文章《迈向临床生成式人工智能：概念框架》（Toward Clinical Generative AI: Conceptual Framework），探讨了生成性人工智能在临床决策中的潜力、挑战和基础框架。

文章按照循证的逻辑，提出了一套共11个验证范式（verification paradigms），用于评估AI在临床决策中的可靠性和准确性，确保AI技术能够在医疗领域中安全有效地应用。

具体包括：

1. 小测验、小故事和知识调查（Quiz, Vignette, and Knowledge Survey）：使用临床情景测试AI的医学知识和推理能力。

2. 历史数据比较（Historical Data Comparison）：将AI的建议与已知的临床结果进行比较，以评估其准确性。

3. 专家共识（Expert Consensus）：通过医学专家小组评估AI生成的诊断或治疗计划。

4. 跨学科验证（Cross-Discipline Validation）：通过不同医学领域的专家验证AI的见解，以进行全面评估。

5. 罕见或复杂模拟及场景测试（Rare or Complex Simulation and Scenario Testing）：通过模拟罕见和复杂的临床情景来评估AI的能力。

6. 错误谣言（False Myth）：测试AI识别和拒绝医学误区、医学谣言或过时概念的能力。

7. 具有挑战性或争议性的问题（Challenging or Controversial Question）：向AI提出复杂或有争议的医学问题，以评估其对细微差别的理解和推理能力。

8. 实时监控（Real-Time Monitoring）：在临床环境中实时监控AI的建议，观察其实际效果和安全性。

9. 算法透明度和审计（Algorithm Transparency and Audit）：关注AI决策过程的透明度及其可审计性。

10. 反馈回路（Feedback Loop）：基于实际应用和结果的反馈，持续改进AI。

11. 道德和法律审查（Ethical and Legal Review）：定期审查AI的建议，确保它们符合伦理指南和法律标准。

作者进一步阐述了这11种范式的优缺点，见下表。

这篇文章为其提出的概念框架概括出了一句简短的表达：“临床上可解释的、公平的、负责任的、由临床医生、专家和患者共同参与的人工智能”（clinically explainable, fair, and responsible, clinician-, expert-, and patient-in-the-loop AI ）。

总之，生成性AI在提升临床决策方面具有巨大潜力，但必须确保其产生基于证据、可靠且有影响力的知识。

文献链接：
Toward Clinical Generative AI: Conceptual Framework
https://doi.org/10.2196/55957

【拓展】

如果对更多相关内容和更多开发案例感兴趣，可联系了解深麦咨询高级课程《优秀产品的隐秘结构 —— 医疗知识应用类产品开发的设计思维》。

该课程共8讲，现阶段只提供企业内训。

联系办法：加微信 -18610162033