Author

助田 一晟, 鈴木 雅弘, 坂地 泰紀, and 小寺 聡

Conference

言語処理学会第30回年次大会

Abstract

大規模言語モデル（LLM）の波及効果が続く中，その医療ドメイン適応は重要な研究課題となっている．近年LLM の調整にはInstruction-tuning が多用されるが，ドメイン適応におけるその具体的な効能は明らかにされていない．本研究では，日本語でのLoRA ベースのInstruction-tuning を実施し，その性能を医療質問応答タスクを通じて多面的に評価した．本実験により，英語のLLM を出発点としたInstruction-tuning によってドメイン固有の知識を一部LLM に組み込むことができ，大きなモデルほど効果が顕著であることが示唆された．この取り組みは，医療機関が外部サービスに頼らずにLLM 構築する先駆的な試みとして位置付けられる．

Paper

PDF

Bibtex

@inproceedings{Sukeda-2024-nlp,
  jtitle = {{JMedLoRA：Instruction-tuningによる日本語大規模モデルの医療ドメイン適用}},
  title = {{JMedLoRA: Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning}},
  jauthor = {助田, 一晟 and 鈴木, 雅弘 and 坂地, 泰紀 and 小寺, 聡},
  author = {Sukeda, Issey and Suzuki, Masahiro and Sakaji, Hiroki and Kodera, Satoshi},
  jbooktitle = {言語処理学会第30回年次大会},
  booktitle = {The Thirtieth Annual Meeting of the Association for Natural Language Processing},
  year = {2024},
  pages = {2548-2553},
}