JMedLoRA：Instruction-tuningによる日本語大規模モデルの医療ドメイン適用
Abstract
大規模言語モデル（LLM）の波及効果が続く中，その医療ドメイン適応は重要な研究課題となっている．近年LLM の調整にはInstruction-tuning が多用されるが，ドメイン適応におけるその具体的な効能は明らかにされていない．本研究では，日本語でのLoRA ベースのInstruction-tuning を実施し，その性能を医療質問応答タスクを通じて多面的に評価した．本実験により，英語のLLM を出発点としたInstruction-tuning によってドメイン固有の知識を一部LLM に組み込むことができ，大きなモデルほど効果が顕著であることが示唆された．この取り組みは，医療機関が外部サービスに頼らずにLLM 構築する先駆的な試みとして位置付けられる．
BibTeX
@inproceedings{Sukeda-2024-nlp,
jtitle = {{JMedLoRA：Instruction-tuningによる日本語大規模モデルの医療ドメイン適用}},
title = {{JMedLoRA: Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning}},
jauthor = {助田, 一晟 and 鈴木, 雅弘 and 坂地, 泰紀 and 小寺, 聡},
author = {Sukeda, Issey and Suzuki, Masahiro and Sakaji, Hiroki and Kodera, Satoshi},
jbooktitle = {言語処理学会第30回年次大会},
booktitle = {The Thirtieth Annual Meeting of the Association for Natural Language Processing},
year = {2024},
pages = {2548-2553},
}