GPT-4模型在影像学检查方法选择合理性评价中的初步分析

Preliminary analysis of the value of GPT-4 in appropriate medical imaging

二维码有效期 120s

摘要目的:评估第四代生成式预训练变换（GPT-4）模型在基于循证医学的影像学检查临床适用性评价（EB-MICA ?）中的应用价值。方法:基于已发表的概念综述和《耳鸣患者影像学检查临床适用性评价共识（2022年版）》，共设计44个问题，包括EB-MICA ?相关通用型问题，以及耳鸣影像学合理检查推荐、不同影像学检查方法价值评判等耳科影像学检查相关专业问题。利用GPT-4模型输入问题并记录相应生成答案，影像专业人员从整体质量、准确性、专业性、语言流畅性四个方面评估生成答案。结果:GPT-4模型生成答案的整体质量得分率为58.2%（128/220），准确性和专业性得分率分别为57.3%（126/220）、58.6%（129/220），语言流畅性得分率为100.0%（220/220）。在EB-MICA ?相关通用型问题回答方面，生成答案的整体质量、准确性、专业性得分率均为93.3%（14/15）。然而，在耳科影像学检查相关专业问题回答方面效果欠佳，合理检查推荐和不同影像学检查价值评判相关生成答案的整体质量得分率仅分别为50.0%（10/20）、56.2%（104/185），关键在于模型不能明确不同影像学检查选择的优先级，通常难以作出影像学合理检查的推荐，未能准确评判不同检查的临床应用价值。结论:GPT-4模型的生成答案条理性很强，语言流畅性方面表现卓越，在通用型知识领域的生成答案具有积极的参考意义，但在耳科影像学检查相关专业领域的应用存在明显局限性。

作者王郅翔 ^[1] 李佳 ^[2] 任鹏玲 ^[2] 蔡林坤 ^[2] 王星皓 ^[2] 孙婧 ^[2] 王振常 ^[2] 吕晗 ^[2] 学术成果认领

作者单位首都医科大学附属北京友谊医院超声科，北京　100050 ^[1] 首都医科大学附属北京友谊医院医学影像中心　北京市临床医学研究所精准与智慧影像实验室，北京　100050 ^[2]

关键词 GPT-4模型自然语言处理耳鸣影像医学循证医学 GPT-4 Model Natural Language Processing Tinnitus Medicial Imaging Evidence-based Medicine

栏目名称论著

DOI 10.3760/cma.j.cn101909-20230529-00006

发布时间 2025-02-25

基金项目

国家自然科学基金 北京市医院管理中心重点医学专业发展计划 北京市卫生健康委员会-北京市重大疫情防治重点专科项目 National Natural Science Foundation of China Key Medical Specialty Development Program of Beijing Hospital Management Center Beijing Municipal Health Commission-Beijing Key Specialty Project of Major Epidemic Prevention and Control