事前学習と追加事前学習による金融言語モデルの構築と検証

著者

鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔
Abstract

本研究では決算短信や有価証券報告書を用い、言語モデルのBERTとELECTRAについて、事前学習や追加で事前学習(追加事前学習)を行いモデルを構築する。構築したモデルについて、金融ドメインのタスクによって汎用コーパスを用いたモデルとの性能を比較する。その際、ファインチューニングを行う層の数などパラメーターによる性能についても比較を行う。構築した一部のモデルについては一般に公開する。
論文

Bibtex
@inproceedings{suzuki-etal-2022-sigfin,
title={事前学習と追加事前学習による金融言語モデルの構築と検証},
% title={Construction and Validation of a Pre-Training and Additional Pre-Training Financial Language Model},
author={鈴木 雅弘 and 坂地 泰紀 and 平野 正徳 and 和泉 潔},
% author={Masahiro Suzuki and Hiroki Sakaji and Masanori Hirano and Kiyoshi Izumi},
booktitle={人工知能学会 第28回金融情報学研究会 (SIG-FIN)},
% booktitle={Proceedings of JSAI Special Interest Group on Financial Infomatics (SIG-FIN) 28},
pages={132-137},
year={2022}
}