Author

鈴木 雅弘, 坂地 泰紀, 平野 正徳, and 和泉 潔

Conference

人工知能学会 第28回金融情報学研究会 (SIG-FIN)

Abstract

本研究では決算短信や有価証券報告書を用い、言語モデルのBERTとELECTRAについて、事前学習や追加で事前学習(追加事前学習)を行いモデルを構築する。構築したモデルについて、金融ドメインのタスクによって汎用コーパスを用いたモデルとの性能を比較する。その際、ファインチューニングを行う層の数などパラメーターによる性能についても比較を行う。構築した一部のモデルについては一般に公開する。

Paper

PDF

Bibtex

@inproceedings{Suzuki-2022-sigfin,
  jtitle = {{事前学習と追加事前学習による金融言語モデルの構築と検証}},
  title = {{Construction and Validation of a Pre-Training and Additional Pre-Training Financial Language Model}},
  jauthor = {鈴木, 雅弘 and 坂地, 泰紀 and 平野, 正徳 and 和泉, 潔},
  author = {Suzuki, Masahiro and Sakaji, Hiroki and Hirano, Masanori and Izumi, Kiyoshi},
  jbooktitle = {人工知能学会 第28回金融情報学研究会 (SIG-FIN)},
  booktitle = {Proceedings of JSAI Special Interest Group on Financial Infomatics (SIG-FIN) 28},
  year = {2022},
  pages = {132-137},
}