换一批基于Lora微调的轻量化中医药古籍大语言模型研究
Research on Lightweight Large Language Models for Ancient Traditional Chinese Medicine Texts Based on Lora Fine-Tuning
摘要目的 针对中医古籍大语言模型构建难度大、微调成本高的问题,研究轻量化中医药古籍大语言模型微调方法,实现以历代《伤寒论》为核心的中医古籍知识问答模型.方法 数据集构造,设计提示词引导GPT-4生成《伤寒论》知识问答对,并融合ShenNong_TCM_Dataset与cMedQA2数据集;模型选择,选用5个通用大模型进行Lora微调,经评估选取最佳模型并验证多版本量化效果.结果 微调后的Qwen-7B-Chat的BLEU、ROUGE-1、ROUGE-2与ROUGE-L指标相较于基座模型分别提升了17.61、19.63、14.3与21.4.结论 本文所选模型能够有效理解和使用《伤寒论》等中医古籍专业术语和概念,针对用户问题给出准确答案,且相较于同类模型微调成本与算力要求更低,有助于中医药知识传播与智能化发展.
更多相关知识
关键词
大语言模型中医药古籍知识《伤寒论》Lora微调模型轻量化Large language modelsTraditional Chinese Medicine ancient textsShang Han LunLow-rank adaptationModel optimization
栏目名称
DOI
10.11842/wst.20241014001
发布时间
2025-05-21（万方平台首次上网日期，不代表论文的发表时间）
基金项目
国家自然科学基金（82074580）
江苏省中医药科技发展计划项目（MS2023010）
- 浏览0
- 被引12
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
