金融文書を用いた追加事前学習言語モデルの構築と検証

著者

鈴木雅弘, 坂地泰紀, 和泉潔, and 石川康.
Abstract

本研究では,汎用言語コーパスを用いて事前学習を行ったBERTモデルに対し,金融コーパスを用いて追加で事前学習(追加事前学習)を行う方が有用であるか検証を行う.追加事前学習を行ったモデルを2つの金融テキストを用いたタスクに適用し,追加事前学習を行うことで,汎用言語コーパスによる事前学習モデルを上回る性能を持つことを示す.また,Tokenizerを構築する際のコーパスの比較を行った.追加事前学習モデルのTokenizerに用いるコーパスにおいて,汎用言語コーパスのみによるモデルと金融コーパスを用いたモデルの間に性能差は見られなかった.
論文

Bibtex
@inproceedings{suzuki-etal-2022-nlp,
  title = {金融文書を用いた追加事前学習言語モデルの構築と検証},
  author = {鈴木 雅弘 and 坂地 泰紀 and 和泉 潔 and 石川 康},
  year = {2022},
  booktitle = {言語処理学会第28回年次大会(NLP2022)},
  pages={588-592}
}