金融文書を用いた事前学習言語モデルの構築と検証

著者

鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔(東京大学)
Abstract

BERTを始めとする事前学習言語モデルは、様々な自然言語処理のタスクにおいて成果を上げている。これらのモデルの多くはWikipediaやニュース記事などの一般的なコーパスを用いているため、専門的な単語が使用される金融分野においては十分な効果が得られない。本研究では決算短信や有価証券報告書から事前学習言語モデルを構築する。また金融ドメインのタスクによって汎用モデルとの性能を比較する。
論文

Bibtex
@inproceedings{suzuki-etal-2021-sigfin,
  title = {金融文書を用いた事前学習言語モデルの構築と検証},
  author = {鈴木 雅弘 and 坂地 泰紀 and 平野 正徳 and 和泉 潔},
  year = {2021},
  booktitle = {人工知能学会 第27回金融情報学研究会 (SIG-FIN)}
}