事前学習言語モデルのドメイン適応能力に関する分析：ドメイン特有ニューロンの検出と分析
Abstract
本研究では，事前学習言語モデル（PLM）における専門ドメインに特化したニューロンの内部挙動を分析する．具体的には，金融ドメインと一般ドメインのテキストに対する，日本語のEncoderまたはDecoderのアーキテクチャをもつ複数のPLMのニューロンの挙動を比較し，ドメイン特有のニューロンを検出した．分析の結果，EncoderとDecoderの両アーキテクチャに共通して，ドメイン特有のニューロンは初期層に多く存在することがわかった．次に，DecoderモデルのMLPにはドメイン特有の性質が複数の層に分散して存在することが示唆された．また，金融ドメインで追加事前学習したモデルでは，中間層でドメイン特有の表現を獲得していることがわかった．
BibTeX
@inproceedings{Suzuki-2025-nlp-neuron,
jtitle = {{事前学習言語モデルのドメイン適応能力に関する分析：ドメイン特有ニューロンの検出と分析}},
title = {{A Study on the Domain Adaptation Ability of Pre-trained Language Models: Detection and Analysis of Domain-Specific Neurons}},
jauthor = {鈴木, 雅弘 and 高柳, 剛弘 and 坂地, 泰紀 and 和泉, 潔},
author = {Suzuki, Masahiro and Takayanagi, Takehiro and Sakaji, Hiroki and Izumi, Kiyoshi},
jbooktitle = {言語処理学会第31回年次大会},
booktitle = {The Thirty-first Annual Meeting of the Association for Natural Language Processing},
year = {2025},
pages = {676-680},
}