换一批应用大语言模型回答先天性晶状体脱位患儿家长提问的效果
Evaluating the efficacy of large language models in answering questions from parents of children with congenital lens dislocation
摘要目的 评价国内开源大语言模型(large language model,LLM)回答先天性晶状体脱位(congenital ectopia-lentis,CEL)患儿家长常见诊疗问题时的准确性、完整性及情感支持性,探讨其作为 CEL 患儿家长健康教育智能助手的可行性.方法 构建包含 33 个 CEL 诊疗问题的题库.由 3 位高年资白内障科医师,采用李克特量表对Kimi chat、豆包、DeepSeek-R1 3 个 LLM 的答案进行盲法评价.基于初步评测结果,选择综合表现最优的 Deep-Seek-R1 在完整题库上进行全面评估.结果 在 3 个 LLM 中,DeepSeek-R1 表现最佳.其在全部题目中的回答准确性(≥5 分)、完整性(≥2 分)和情感支持性(≥2 分)的比例分别为 78.8%、87.9%和 69.7%,评估者推荐其答案的比例为 75.8%(150/198).其回答在治疗与预后、症状等方面表现优异,但在疾病诊断方面稍欠.DeepSeek-R1的回答字数多于人工回答(P<0.05),且字数与答案完整性呈正相关(rs≈0.608,P<0.05).三位评分者间的一致性均高于 0.700,信度良好.结论 DeepSeek-R1 回答 CEL 相关诊疗问题具有较高的准确性、完整性和情感支持性,但其在疾病诊断方面的应用需保持谨慎.
更多相关知识
关键词
先天性晶状体脱位大语言模型DeepSeek-R1健康教育问答性能生成质量Congenital ectopia lentisLarge language modelDeepSeek-R1Health educationQuestion-answering performanceGeneration quality
分类号
R776（晶状体与玻璃体疾病）
栏目名称
DOI
10.6040/j.issn.1671-7554.0.2025.0262
发布时间
2026-06-11（万方平台首次上网日期，不代表论文的发表时间）
基金项目
中央引导地方科技发展资金项目（246Z7710G）
- 浏览8
- 被引0
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
