Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop

Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop
以下の文章は自然言語処理に関する論文の要約です。日本語に翻訳してください。 acl-2022-association
https://aclanthology.org/2022.acl-srw.0/
Evaluating zero-shot transfers and multilingual models for dependency parsing and POS tagging within the low-resource language family Tupían
この論文では、Tupíanという低リソース言語ファミリー内で、密接に関連する言語でトレーニングされた依存構文解析器とPOSタガーの転移性を再現することを目的とした2つの実験を紹介する。実験には、ゼロショット設定とマルチリンガルモデルの両方が含まれる。以前の研究では、密接に関連する言語からの比較的小さなツリーバンクでも、シーケンスラベリングをかなり改善することがわかっている。POSタギングと依存構文解析の両方からの結果は、2つの言語間の系統関係が近いほど、シーケンスラベリングタスクの予測がよくなることを確認している。多くの場合、同じファミリーの複数の言語を組み合わせると結果が改善される。これは、関連する2つの言語の類似性を活用するだけでなく、同じファミリーの複数の言語を組み合わせることで、NLPアプリケーションの転移学習においてより良い結果が得られる可能性があることを示唆している。
https://aclanthology.org/2022.acl-srw.1/
RFBFN: A Relation-First Blank Filling Network for Joint Relational Triple Extraction
非構造化テキストからの共同関係トリプル抽出は、情報抽出における重要なタスクです。しかし、既存の多くの研究は、関係の意味情報を無視するか、主語と目的語を順次予測します。これらの問題に対処するために、私たちは新しい空欄埋めパラダイムを導入し、関係優先空欄埋めネットワーク（RFBFN）を提案します。具体的には、まず、テキストに保持されている潜在的な関係を検出して、次のエンティティペア抽出を支援します。次に、関係を空欄を含む関係テンプレートに変換し、関係の細かい意味表現を含みます。最後に、対応する主語と目的語を空欄に入れて同時に抽出します。提案されたモデルを公開ベンチマークデータセットで評価しました。実験結果は、当社のモデルが現在の最先端の方法を上回っていることを示しています。当社の作品のソースコードは、https://github.com/lizhe2016/RFBFNで入手できます。
https://aclanthology.org/2022.acl-srw.2/
Building a Dialogue Corpus Annotated with Expressed and Experienced Emotions
コミュニケーションにおいて、人間は相手の感情を認識し、共感や慰めなど適切な感情で応答する。このような人間らしい能力を持つ対話システムの開発に向けて、本論文では2種類の感情で注釈付けされた対話コーパスの構築方法を提案する。Twitterから対話を収集し、発話者が発話に込めた感情（表現された感情）と、聞き手が聞いた後に感じた感情（経験された感情）を注釈付けする。この方法を用いて日本語の対話コーパスを構築し、統計分析により表現された感情と経験された感情の違いが明らかになった。2種類の感情の認識実験を行った結果、経験された感情の認識が困難であること、2種類の感情のマルチタスク学習の有効性が示された。構築されたコーパスが対話における感情認識や感情を考慮した対話応答生成の研究を促進することを期待する。
https://aclanthology.org/2022.acl-srw.3/
Darkness can not drive out darkness: Investigating Bias in Hate SpeechDetection Models
自動的な憎悪表現や虐待の検出ツールの開発が重要になってきています。これらのツールは、いじめや憎悪表現を止め、特にマージナライズドグループからの個人が自由に表現できるように、より安全な環境を提供するのに役立ちます。しかし、最近の研究によると、機械学習モデルには偏りがあり、正しい決定を誤った理由で行う可能性があります。本論文では、憎悪表現や虐待の検出モデルの性能と影響を理解し、それらに影響を与えるさまざまなバイアスを調査します。憎悪表現や虐待の検出モデルは、社会的なバイアスだけでなく、これまで探究されていなかった他の種類のバイアスにも影響を受けることを示します。最後に、社会的および交差的バイアスの因果効果を調査し、憎悪表現の検出モデルの性能と不公平性に与える影響を調べます。
https://aclanthology.org/2022.acl-srw.4/
Ethical Considerations for Low-resourced Machine Translation
この論文では、低資源言語に対する機械翻訳の倫理的な問題について考察する。アルメニア語を事例とし、英語とアルメニア語の改善された機械翻訳の作成と展開に伴う特定のニーズと懸念を調査する。そのために、ステークホルダーへのインタビューを行い、Nathanら(2007)のバリューシナリオを構築する。これらのシナリオは、低資源言語コミュニティが改善された機械翻訳システムの展開によって直面する可能性のある損害を示している。これらのシナリオに基づき、1)ステークホルダーと協力してより有用で信頼性の高い機械翻訳ツールを作成し、2)脆弱な言語コミュニティに与える損害を軽減するために、機械翻訳の改善に取り組む際に開発すべき他の言語技術を決定することを推奨する。これらの両方の目標は、低資源言語の機械翻訳を言語特有のタスクとして扱うことを必要とする。
https://aclanthology.org/2022.acl-srw.5/
Integrating Question Rewrites in Conversational Question Answering: A Reinforcement Learning Approach
会話型質問応答（QA）の研究において、対話履歴の依存関係を解決することは主要な障害の一つである。会話型質問書き換え（QR）タスクは、自己完結形式の質問を再構築することによってこの問題を解決するために効果的であることが示されている。しかし、QRデータセットは限られており、既存の方法は、すべてのCQAデータセットに対応するQRデータセットの存在を前提とする傾向がある。本論文では、対応するラベル付きQRデータセットがなくてもQRとCQAタスクを統合する強化学習アプローチを提案する。CQAから得られた報酬信号に基づいてQRモデルをトレーニングし、実験結果は、パイプラインアプローチよりも改善をもたらすことが示されている。
https://aclanthology.org/2022.acl-srw.6/
What Do You Mean by Relation Extraction? A Survey on Datasets and Study on Scientific Relation Classification
過去5年間、関係抽出（RE）に関する研究は多くの新しいデータセットのリリースとともに大きな進歩を遂げてきました。同時に、セットアップの明確さが減少し、信頼性の高い経験的評価の困難さが増加しています（Taillé et al.、2020）。本論文では、REデータセットの包括的な調査を提供し、タスク定義とそのコミュニティによる採用を再検討します。クロスデータセットおよびクロスドメインのセットアップが特に不足していることがわかりました。2つのデータセットを対象とした科学的関係分類の経験的研究を行いました。大きなデータの重複があるにもかかわらず、私たちの分析は注釈に重大な不一致があることを明らかにしました。注釈の不一致は、クロスデータセットの評価で大幅な性能低下を説明し、関係分類に強く影響を与えます。さらに、サブドメイン内の変動は存在しますが、関係分類には限定的な影響しか与えません。全体的に、私たちの研究は、REにおけるセットアップの報告と複数のテストセットでの評価により厳密さが必要であることを示唆しています。
https://aclanthology.org/2022.acl-srw.7/
Logical Inference for Counting on Semi-structured Tables
最近、厳密なフォーマットを持たない半構造化テーブルに対する自然言語推論（NLI）タスクが研究されています。ニューラルアプローチは、半構造化テーブルとテキストのNLIを含む様々なタイプのNLIで高い性能を発揮していますが、数値的な推論（例えば、カウント）を行うことにはまだ苦労しています。数値的な推論を扱うために、我々は半構造化テーブルとテキストの間の推論のための論理推論システムを提案します。我々は、テーブルとテキストの意味表現として論理表現を使用し、テキストとテーブルの間の数値的な推論を扱うためにモデルチェックを使用します。半構造化テーブルとテキストの間の数値的な理解に焦点を当てた評価プロトコルを作成し、我々のシステムが数値的な比較を含むテーブルとテキストの間の推論をより堅牢に実行できることを示します。現在のニューラルアプローチと比較して、我々のシステムはより高い性能を発揮します。
https://aclanthology.org/2022.acl-srw.8/
GNNer: Reducing Overlapping in Span-based NER Using Graph Neural Networks
Named Entity Recognition（NER）には、シーケンスラベリングとスパン分類の2つの主要なパラダイムがあります。シーケンスラベリングは、BIO（Begin、Inside、Outside）タグ付けなどを使用して、入力テキストの各単語にラベルを割り当てることを目的としています。一方、スパン分類は、テキスト内のすべての可能なスパンを列挙し、それらをラベルに分類することを含みます。シーケンスラベリングとは対照的に、制約のないスパンベースの方法は、重複するスパンにエンティティラベルを割り当てる傾向があり、これは一般的に望ましくないです。特に、ネストされたエンティティがないNERタスクの場合はそうです。そのため、私たちはGNNerを提案します。これは、グラフニューラルネットワークを使用してスパン表現を豊かにし、予測中の重複するスパンの数を減らすためのフレームワークです。私たちのアプローチは、強力なベースラインと比較して、重複するスパンの数を減らしながら競争力のあるメトリックパフォーマンスを維持します。コードはhttps://github.com/urchade/GNNerで利用可能です。
https://aclanthology.org/2022.acl-srw.9/
Compositional Semantics and Inference System for Temporal Order based on Japanese CCG
自然言語推論（NLI）は、前提が仮説を含意するかどうかを決定するタスクである。時間的順序を考慮したNLIは、時制と相が時間副詞や時間接続詞との相互作用を含む複雑な言語現象であるため、課題がある。この問題に対処するために、形式意味論の分野で、時間的および相関推論が様々な方法で分析されてきた。しかし、形式意味論に基づく日本語の時間的順序に関するNLIシステムは、十分に開発されていない。本論文では、組み合わせカテゴリー文法（CCG）構文解析を介した合成意味論に基づく日本語の時間的順序を考慮した論理ベースのNLIシステムを提案する。本システムは、時間関係の公理と自動定理証明器を使用して、時間的順序を含む推論を実行する。我々は、時間的順序を含む日本語NLIデータセットを用いて、本システムを評価する。その結果、本システムは、以前の論理ベースのシステムや現在の深層学習ベースのモデルよりも優れた性能を示すことを示す。
https://aclanthology.org/2022.acl-srw.10/
Combine to Describe: Evaluating Compositional Generalization in Image Captioning
合成性 - より単純な概念を組み合わせて任意に複雑な概念構造を理解・生成する能力 - は、長年にわたり人間の言語能力の基盤と考えられてきました。最近、ニューラルモデルがさまざまなNLPタスクで注目すべき成功を収めたことから、これらのモデルの合成能力に注目が集まっています。本論文では、画像キャプションモデルの合成一般化特性を研究します。我々は、モデルとデータの欠落を使用した一連の実験を制御された条件下で実行し、合成一般化の特定の側面をベンチマークするためにそれぞれ設計されました。体系性は、モデルがトレーニング中に観察された概念の新しい組み合わせを作成する能力です。生産性は、モデルがトレーニング中に観察された長さ分布を超えて予測を拡張する能力です。置換性は、モデルが同義語の置換に対してどの程度堅牢であるかに関するものです。以前の研究は主に体系性に焦点を当てていましたが、ここでは最新のキャプションモデルの強みと弱みについてより詳細な分析を提供します。私たちの調査結果は、ここで研究されたモデルが体系性と生産性の点で合成的に一般化しないことを示していますが、同義語の置換に対してある程度堅牢であることを示しています。
https://aclanthology.org/2022.acl-srw.11/
Towards Unification of Discourse Annotation Frameworks
談話情報は表現や注釈が困難である。談話情報を注釈する主要なフレームワークには、RST、PDTB、SDRTがあり、それぞれ独自の理論的基盤と焦点を持って広く議論され、使用されている。異なるフレームワークで注釈されたコーパスはかなり異なる。既存の談話コーパスをより良く活用し、異なるフレームワークの可能なシナジーを実現するために、異なるフレームワーク間の体系的な関係を調査し、フレームワークを統一する方法を考案することは価値がある。フレームワークの統一に関する問題は長年議論されてきたが、談話構造と談話関係の両方を統一し、統一されたフレームワークを内的および外的に評価する包括的なアプローチは現在存在していない。我々は自動手段を使用して統一タスクを行い、構造的複雑さと下流タスクで結果を評価する予定である。また、マルチタスク学習とグラフィカルモデルで統一されたフレームワークの応用を探求する予定である。
https://aclanthology.org/2022.acl-srw.12/
AMR Alignment for Morphologically-rich and Pro-drop Languages
抽象的な意味表現（AMR）グラフ内の概念と文内の単語の整合性は、AMR解析の重要な段階の1つです。英語に対して高い性能を発揮するAMRアライナーが存在する一方で、多くの概念が形態意味要素から出現する多くの言語には適していません。本論文では、この言語グループの代表的な例であるトルコ語を実験対象として、形態豊かでプロドロップ言語に適したAMRアライナーを初めて提案します。私たちのアライナーは、豊かなトルコ語の形態を考慮して意味に焦点を当て、追加のリソースやルールなしに形態素から出現するAMR概念を木のトラバースアプローチを用いて整列します。私たちは、手動で注釈付けされたゴールドデータセットを用いて、精度、再現率、F1スコアについて私たちのアライナーを評価しました。私たちのアライナーは、英語やポルトガル語に対するトルコ語の適応版のアライナーをF1スコア0.87で上回り、相対誤差削減率は最大で76％を提供します。
https://aclanthology.org/2022.acl-srw.13/
Sketching a Linguistically-Driven Reasoning Dialog Model for Social Talk
社交的な会話を行い、会話内容を理解する能力には、文脈に敏感な自然言語理解と推論が必要であり、現在の一般的なオープンドメインの対話システムやチャットボットでは効率的に処理できない。これらのシステムは、文脈に敏感な意味をエンコードおよびデコードするためにコーパスベースの機械学習技術に大きく依存しており、特定のトレーニングデータセットに適合することに焦点を当てていますが、会話で実際に起こっていることを追跡することはできず、新しい文脈で容易に脱線します。本研究では、比較的文脈に敏感でないコンポーネント（品詞タグ付け、語彙的意味の近似、構成要素のチャンキングなど）のバックボーンとしてコーパスベースの手法を使用し、文脈に一貫したマッピングを持たない文脈に敏感なコンポーネントを推論するためにシンボリックモデリングを使用する、英語の社交的な会話を処理するためのより言語学的に基づいたアーキテクチャを概説しています。すべてのコンポーネントは、会話の相互作用的かつ合理的な側面に対処するためにベイジアンゲーム理論モデルに適合されます。
https://aclanthology.org/2022.acl-srw.14/
Scoping natural language processing in Indonesian and Malay for education applications
インドネシア語とマレー語は、自然言語処理（NLP）技術の開発において十分に扱われておらず、利用可能なリソースを見つけることが困難です。既存の研究の明確な概要は、研究者が有益なプロジェクトを構想する上で活力を与え、情報を提供することができます。教育セクターのプロジェクトを動機として、私たちはインドネシア語とマレー語の人間言語技術とコーパス作業について広範な概要を行いました。私たちは657の研究をHirschbergとManningの2015年のNLPの説明に従って分類し、探索的なコーパス作業、インターネットから収集されたテキストの機械読み取り、感情分析が支配的であることを結論づけました。本論文では、最も多くの著者や研究拠点を特定し、インドネシア語とマレー語のNLP内での将来の協力と効率を促進するためのいくつかの提言を行います。
https://aclanthology.org/2022.acl-srw.15/
English-Malay Cross-Lingual Embedding Alignment using Bilingual Lexicon Augmentation
高品質のマレー語リソースがまだ不足しているため、クロスリンガルワードエンベッディングを使用することで、豊富な英語リソースを下流のマレー語テキスト分類タスクに活用することが可能になります。本論文では、既存の言語リソースを利用して埋め込みの整合性を利用した英語-マレー語クロスリンガルワードエンベッディングの作成に焦点を当てています。機械翻訳を使用してトレーニングバイリンガル辞書を拡張し、クロスリンガルワードエンベッディングの整合性精度を向上させることを目的としています。現在の最先端の英語-マレー語バイリンガル辞書の品質を調査し、Google翻訳を使用してその品質を改善することを検討しました。また、マレー語の単語カバレッジがクロスリンガルワードエンベッディングの品質に与える影響も調べました。28.17％までの精度を持つ実験結果は、クロスリンガルワードエンベッディングの整合性精度が1-NN後に必然的に低下することを示していますが、より良いシード辞書とよりクリーンな最近傍は、満足のいくパフォーマンスを達成するために必要な単語ペアの数を減らすことができます。英語とマレー語の単一言語エンベッディングが非公式の言語コーパスで事前にトレーニングされているため、提案された英語-マレー語エンベッディングの整合アプローチは、英語の最近傍に非標準的なマレー語の翻訳をマッピングすることもできます。
https://aclanthology.org/2022.acl-srw.16/
Towards Detecting Political Bias in Hindi News Articles
近年の政治プロパガンダは、偏向報道を通じてメディアニュースポータルによって増幅され、深刻な問題について不正確な物語を作り出し、特定の政党を支持し、助けるために誤った公衆意見を引き起こしています。この問題は、ニュース記事の政治的偏見を検出する難しいNLPタスクを提案しています。私たちは、この偏見検出のために、事前学習されたネットワークを私たちのデータに微調整するトランスフォーマーベースの転移学習方法を提案しています。この特定のタスクに必要なデータセットがなかったため、私たちは、さまざまなヒンディー語ニュースメディアから1388のヒンディー語ニュース記事とその見出しを含むデータセットを作成しました。私たちは、それらがインドの中央政府の現在の与党である政党であるBJPに対して、反対しているか、または中立であるかをマークしました。
https://aclanthology.org/2022.acl-srw.17/
Restricted or Not: A General Training Framework for Neural Machine Translation
制限付き機械翻訳は、翻訳の特定のシナリオにおける要求を満たすために、人間の先行知識を翻訳に取り入れます。これにより、翻訳の柔軟性が制限されます。既存の研究では、ビームサーチデコーディングに制約を課すことが一般的です。これは全体的に要件を満たすことができますが、通常、制限のない翻訳よりも大きなビームサイズとはるかに長いデコーディング時間が必要であり、展開時の翻訳モデルの並列処理能力を制限し、その実用性を制限します。本論文では、デコーディングプロセスを制限することなく、追加の補助トレーニングプロセスを採用することで、モデルが制限のない翻訳と制限付き翻訳の両方を同時にサポートできる一般的なトレーニングフレームワークを提案します。これにより、制限付き翻訳の利点を維持しながら、制限付きデコーディングの余分な時間オーバーヘッドを大幅に削減し、実用性を向上させます。提案されたトレーニングフレームワークの効果は、オリジナル（WAT21 En↔Ja）およびシミュレートされた（WMT14 En→DeおよびEn→Fr）制限付き翻訳ベンチマークの両方での実験によって示されています。
https://aclanthology.org/2022.acl-srw.18/
What do Models Learn From Training on More Than Text? Measuring Visual Commonsense Knowledge
テキストだけから言語を学ぶには限界があるため、最近はマルチモーダルモデルの開発に注力されています。しかし、マルチモーダルトレーニングから言語モデルがどのように言語を学ぶかを測定できるベンチマークはほとんど存在しません。我々は、視覚モダリティでのトレーニングが言語モデルの視覚的な常識知識を向上させると仮説を立てました。そのため、言語モデルの視覚的な常識知識を測定するための2つの評価タスクを導入し（コードはgithub.com/lovhag/measure-visual-commonsense-knowledgeで公開されています）、異なるマルチモーダルモデルと単一モダルのベースラインを評価しました。主に、視覚テキストデータでトレーニングされたマルチモーダルモデルと単一モダルのベースラインモデルの視覚的な常識知識には有意な違いがないことがわかりました。
https://aclanthology.org/2022.acl-srw.19/
TeluguNER: Leveraging Multi-Domain Named Entity Recognition with Deep Transformers
Named Entity Recognition（NER）は、リソースの利用可能性により、英語で成功し、よく研究された問題です。トランスフォーマーモデル、特にマスク言語モデル（MLM）は、最近のNERで驚異的なパフォーマンスを示しています。さまざまなオンラインプラットフォームで成長するデータに対応するため、他の言語でもNERが必要です。リソースとツールの不足により、NERはインドの言語で未開拓のままです。本論文の貢献は、（i）複数のドメインでテルグ語の2つの注釈付きNERデータセット：ニュースワイヤーデータセット（ND）と医療データセット（MD）を組み合わせて、結合データセット（CD）を形成したこと、（ii）ファインチューニングされたテルグ語の事前学習済みトランスフォーマーモデル（BERT-Te、RoBERTa-Te、ELECTRA-Te）と他のベースラインモデル（CRF、LSTM-CRF、BiLSTM-CRF）の比較、（iii）テルグ語の事前学習済みトランスフォーマーモデルと多言語モデルmBERT、XLM-R、IndicBERTのパフォーマンスのさらなる調査です。事前学習済みのテルグ語モデル（BERT-Te、RoBERTa）は、NERで既存の事前学習済みの多言語およびベースラインモデルを上回るパフォーマンスを発揮しています。 38,363の文の大規模なデータセット（CD）では、BERT-Teは高いF1スコア（エンティティレベル）0.80および（トークンレベル）0.75を達成しています。さらに、これらの事前学習済みのテルグ語モデルは、さまざまな既存のテルグ語NERデータセットで最先端のパフォーマンスを発揮しています。私たちは、データセット、事前学習済みモデル、およびコードをオープンソース化しています。
https://aclanthology.org/2022.acl-srw.20/
Using Neural Machine Translation Methods for Sign Language Translation
私たちは、手話の書き言葉であるグロスをテキストに翻訳するシステムの文脈で、話される言語のテキストからテキストへの翻訳に役立つと証明された方法や技術を検討します。私たちは、ドイツ手話の並列コーパス（PHOENIX14TとPublic DGS Corpus）の両方で実験を行った最初の研究の1つを紹介します。私たちは、ハイパーパラメータの最適化を行った2つのNMTアーキテクチャ、いくつかのトークナイズ方法、および2つのデータ拡張技術（逆翻訳と言い換え）を用いて実験を行いました。調査の結果、私たちは、それぞれのコーパスでトレーニングされたモデルのBLEUスコアを5.0と2.2改善しました。私たちのRNNモデルはTransformerモデルよりも優れており、最も良い結果を得られたセグメンテーション方法はBPEであり、逆翻訳と言い換えはわずかながら有意な改善をもたらしませんでした。
https://aclanthology.org/2022.acl-srw.21/
Flexible Visual Grounding
既存の視覚的グラウンディングデータセットは人工的に作成されており、すべてのエンティティに関するクエリは、対応する画像領域にグラウンディングできる必要があります。つまり、回答可能である必要があります。しかし、ニュース記事やソーシャルメディアなどの現実世界のマルチメディアデータでは、テキスト内の多くのエンティティは画像にグラウンディングできないため、回答不可能です。これは、テキストが不必要に直接付随する画像を説明しているためです。堅牢な視覚的グラウンディングモデルは、回答可能な視覚的グラウンディングと回答不可能な視覚的グラウンディングの両方を柔軟に扱える必要があります。この柔軟な視覚的グラウンディング問題を研究するために、回答可能なクエリと回答不可能なクエリの両方を含む疑似データセットとソーシャルメディアデータセットを構築します。回答不可能な視覚的グラウンディングを処理するために、クエリにグラウンディングできない疑似画像領域を追加する新しい方法を提案します。その後、モデルは、回答可能なクエリのグラウンド・トゥルース領域と回答不可能なクエリの疑似領域にグラウンディングするようにトレーニングされます。実験では、モデルがデータセットで高い精度で回答可能なクエリと回答不可能なクエリの両方を柔軟に処理できることを示します。
https://aclanthology.org/2022.acl-srw.22/
A large-scale computational study of content preservation measures for text style transfer and paraphrase generation
テキストスタイルの変換とテキストの言い換えは、NLPの活発な成長分野であり、これらのタスクを解決するための数十の方法が最近導入されています。両方のタスクでは、システムは入力テキストに意味的に類似したテキストを生成することが期待されています。したがって、これらのタスクは、テキストの意味的類似性を測定する方法に依存しています。しかし、オリジナルと生成されたテキストの内容の保存を自動的に評価するための最適な手法はまだ明確ではありません。私たちの観察によると、多くの研究者はまだBLEUのような手法を使用していますが、より高度なニューラルベースの手法が存在し、古典的な手法を大幅に上回っています。現在の問題は、利用可能な手法の徹底的な評価の欠如です。私たちは、19の注釈付きデータセットで異なる原則に基づく57の手法を比較することにより、大規模な計算的研究を行うことで、このギャップを埋めます。クロスエンコーダーモデルに基づく手法がほとんどの場合で代替手法を上回ることを示します。また、相互含意スコア（MIS）を紹介し、言い換え検出タスクで他のすべての手法を上回り、テキストスタイル変換タスクで最高の手法と同等の性能を発揮します。
https://aclanthology.org/2022.acl-srw.23/
Explicit Object Relation Alignment for Vision and Language Navigation
本論文では、ビジョンと言語ナビゲーションの問題を調査します。この問題を解決するために、テキスト指示のランドマークと空間関係を視覚的な形式に落とし込むことが重要です。私たちは、明示的なオブジェクト関係アラインメントエージェント（EXOR）というニューラルエージェントを提案し、指示と視覚環境、ランドマークとエージェントとの空間関係を明示的に整列させます。実験的に、私たちの提案手法はR2Rデータセットでベースラインを大幅に上回ります。私たちは、モデルの空間推論能力と説明可能性を示す包括的な分析を提供します。
https://aclanthology.org/2022.acl-srw.24/
Mining Logical Event Schemas From Pre-Trained Language Models
私たちは、大規模な言語モデル、FrameNet解析、言語の強力な論理的表現、および学習プロセスをブートストラップするための一連の単純な行動スキーマを組み合わせたイベントスキーマ学習システムであるNESL（Neuro-Episodic Schema Learner）を提供します。私たちのデータセットは、事前にトレーニングされた言語モデルからの「状況サンプル」の連続的なフィードであり、これらはFrameNetフレームに解析され、単純な行動スキーマにマップされ、複雑な階層スキーマに結合および一般化されます。私たちは、言語モデルからの慎重なサンプリングが、状況の定型的な特性を強調し、関係のない詳細を軽減するのに役立つことを示し、その結果得られるスキーマが、他のシステムによって学習されたものよりも状況を包括的に指定することを示します。
https://aclanthology.org/2022.acl-srw.25/
Exploring Cross-lingual Text Detoxification with Large Multilingual Language Models.
解毒は、元の有害なテキストの意味と流暢さを保ちつつ、丁寧なスタイルでテキストを生成するタスクである。既存の解毒方法は、1つの正確な言語で動作するように設計された単一言語である。この研究では、多言語およびクロスリンガルの解毒と、この設定での大規模な多言語モデルの振る舞いを調査する。以前の研究とは異なり、私たちは大規模な言語モデルが、特定の言語での直接の微調整なしで解毒を実行できるようにすることを目的としています。実験の結果、多言語モデルは多言語スタイルの転送を実行できることが示されました。しかし、テストされた最新のモデルはクロスリンガルの解毒を実行できず、正確な言語での直接の微調整が不可欠であり、この方向性でのさらなる研究の必要性を促しています。
https://aclanthology.org/2022.acl-srw.26/
MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering
知識グラフ（KG）は、事実を象徴的に構造化されたストレージに格納するものです。KG埋め込みには、現実世界に関する暗黙の情報が必要なNLPタスクで使用される簡潔なデータが含まれます。さらに、実際のNLP課題で有用なKGのサイズは膨大であり、その上に埋め込みを作成することにはメモリコストの問題があります。我々は、KGを第3オーダーのバイナリテンソルとして表現し、それを標準的なCP分解を超えたデータ固有の一般化バージョンを使用しています。標準的なCP-ALSアルゴリズムの一般化により、バックプロパゲーションメカニズムなしで最適化勾配を取得できます。これにより、トレーニングに必要なメモリが削減され、計算上の利点が提供されます。我々は、メモリ効率の良いKG埋め込みモデルであるMEKERを提案し、リンク予測タスクとKGベースの質問応答でSOTAに匹敵するパフォーマンスを発揮します。
https://aclanthology.org/2022.acl-srw.27/
Discourse on ASR Measurement: Introducing the ARPOCA Assessment Tool
自動音声認識（ASR）は、発音辞書、音声特徴、言語モデルを備えたパイプラインアーキテクチャから、生の波形から単語シーケンスに直接翻訳を行うエンドツーエンドシステムに進化しました。精度の向上と事前学習モデルの利用可能性により、ASRシステムは現在、私たちの日常的なアプリケーションに普及しています。一方、モデルの解釈可能性と計算コストは、特に一般的でない言語や話者の地域的な変化を特定する場合に、より困難になっています。この研究提案は、4段階のプロセスに従います：1）音響特徴と特徴抽出アルゴリズムの概要を証明すること。2）現在のASRモデル、ツール、および性能評価技術を探索すること。3）解釈可能な音声転写と特徴を整列させること。4）PRAATを使用した半自動音響特徴抽出を開発し、音声転写と組み合わせて地域言語変化の認識を高め、モデルのフィードバックを改善するARPOCAのプロトタイプを設計すること。
https://aclanthology.org/2022.acl-srw.28/
Pretrained Knowledge Base Embeddings for improved Sentential Relation Extraction
この論文では、事前学習された知識ベースグラフ埋め込みをトランスフォーマーベースの言語モデルと組み合わせて、自然言語処理における文の関係抽出タスクの性能を向上させることを提案します。提案されたモデルは、既存のモデルを単純に変更して、オフタスクの事前学習されたグラフ埋め込みをオンタスクのファインチューニングされたBERTエンコーダーに組み込むものです。標準的なデータセットでモデルの詳細な統計的評価を行います。追加されたグラフ埋め込みが性能を向上させることを示し、明示的なオンタスクトレーニングを行う最新のモデルと競合するほど簡単なアプローチになることを証明します。さらに、関係クラスのF1スコアの分散とトレーニング例のサポートの間に興味深いべき乗則のスケーリング動作がBERTモデルの基礎にあることを観察します。
https://aclanthology.org/2022.acl-srw.29/
Improving Cross-domain, Cross-lingual and Multi-modal Deception Detection
社会メディアを含めた欺瞞や誤情報の増加に伴い、自動的に欺瞞的な言語を識別する機械学習手法を開発することが重要になってきています。本提案では、異なるドメイン、言語、モーダル設定における欺瞞検出の課題を特定します。クロスドメインの欺瞞分類を改善するために、対象ドメインに適したソースドメインを特定するために、ドメイン間距離を使用することを提案します。クロスリンガルの欺瞞分類において、多言語分類モデルと翻訳の有効性を研究することを提案します。最後に、マルチモーダルの欺瞞検出をより理解し、複数のモダリティからの情報を重み付けて組み合わせる方法を探索して、マルチモーダルの欺瞞分類を改善することを提案します。
https://aclanthology.org/2022.acl-srw.30/
Automatic Generation of Distractors for Fill-in-the-Blank Exercises with Round-Trip Neural Machine Translation
本論文では、空欄補充問題において、学生には一つの単語が隠されたキャリア文が提示され、正解といくつかの不適切な選択肢であるディストラクターが含まれる複数選択肢リストが与えられます。我々は、ラウンドトリップニューラルマシン翻訳を使用して、自動的にディストラクターを生成することを提案します。キャリア文は英語から別の（ピボット）言語に翻訳され、再度英語に戻され、元の文とそのラウンドトリップ翻訳を整列させることでディストラクターが生成されます。我々は、与えられた文の数百の翻訳を使用することで、多様な難解なディストラクターの豊富なセットを生成できることを示します。さらに、複数のピボット言語を使用することで、多様な候補が生成されます。ディストラクターは、クローズ演習の実際のコーパスに対して評価され、手動で妥当性が確認されます。提案された方法が2つの強力なベースラインを大幅に上回ることを示します。
https://aclanthology.org/2022.acl-srw.31/
On the Locality of Attention in Direct Speech Translation
トランスフォーマーは、複数のNLPタスクで最先端の結果を達成しています。しかし、自己注意機構の複雑さは、音声ドメインのような長いシーケンスを含むタスクにとって障害となります。本論文では、直接音声翻訳における自己注意の有用性について議論します。まず、エンコーダーの自己注意におけるレイヤーごとのトークンの貢献を分析し、ローカルな対角線パターンを明らかにします。一部の注意重みが回避可能であることを証明するために、標準の自己注意をローカルな効率的なものに置き換え、分析結果に基づいて使用するコンテキストの量を設定することを提案します。このアプローチにより、モデルはベースラインの性能に合致し、標準の注意が破棄する重みの計算をスキップすることで効率が向上します。
https://aclanthology.org/2022.acl-srw.32/
Extraction of Diagnostic Reasoning Relations for Clinical Knowledge Graphs
臨床知識グラフには意味のある診断関係（例：共存症、兆候/症状）が欠けており、現実世界の診断プロセスを表現する能力が制限されています。従来のバイオメディカル関係抽出方法は、遺伝子-疾患や疾患-薬剤などの概念関係に焦点を当て、臨床プロセスをほとんど無視してきました。本論文では、臨床推論オントロジーを活用し、医師向けのポイントオブケアリファレンスウィキと消費者向けの健康リソーステキストからこのような関係を抽出する方法を提案します。診断関係にラベル付けされたデータが不足しているため、ゼロショット設定で抽出されたトリプルの正確性を評価する新しい方法も提案します。トリプル信頼フィルタリングとクリニシャンマニュアルレビューによる新しい事実の固有評価プロセス、および差異診断予測タスクの形式での外的評価について説明します。
https://aclanthology.org/2022.acl-srw.33/
Scene-Text Aware Image and Text Retrieval with Dual-Encoder
私たちは、画像とテキストの検索課題に対して、画像とテキストを独立にエンコードするデュアルエンコーダーモデルを使用しています。このモデルは、ビジョンと言語を同じ意味空間に接続することで、効率的なオフライン推論を可能にするアプローチとして注目されていますが、デュアルエンコーダーモデルの画像エンコーダーがシーンテキスト（つまり、画像内のテキスト情報）を解釈できるかどうかは不明です。私たちは、シーンテキストと周囲の視覚情報の共通理解を促進する事前トレーニング方法を提案しています。実験結果は、私たちの方法がデュアルエンコーダーモデルの検索性能を向上させることを示しています。
https://aclanthology.org/2022.acl-srw.34/
Towards Fine-grained Classification of Climate Change related Social Media Text
気候変動が世界的な懸念事項となる中、人々の反応を測定することは重要になってきています。これにより、気候変動に関する教育や啓発を行い、指導者が意思決定を改善するのに役立ちます。本研究では、気候変動に関連するソーシャルメディアテキストの細かい分類とスタンス検出を探求しています。まず、2019年の国連気候変動枠組条約中に投稿された3777件のツイートからなるClimateStanceとClimateEngの2つのデータセットを作成し、データセットの収集、注釈方法、およびデータセットの構成を包括的に説明します。次に、提案されたClimateStanceデータセットに基づく気候変動スタンス検出のタスクを提案します。第三に、ClimateEngデータセットに基づく細かい分類を提案し、ソーシャルメディアテキストを5つのカテゴリに分類します：災害、海洋/水、農業/林業、政治、一般。両方のデータセットをテキスト分類の最新の方法でベンチマークし、気候変動スタンス検出と細かい分類の両方のタスクについてRedditベースのデータセットであるClimateRedditを作成し、擬似ラベル付きコメント6262件と手動注釈コメント329件を含めます。その後、両方のタスクについて半教師あり実験を実施し、教師あり実験の最も優れたモデルを使用してその結果をベンチマークします。最後に、品詞タグ付けと固有表現認識を使用してClimateStanceとClimateRedditについての洞察を提供します。
https://aclanthology.org/2022.acl-srw.35/
Deep Neural Representations for Multiword Expressions Detection
自然言語処理に関連する多くの技術にとって、多語表現の効果的な検出方法は重要です。現代の多くの方法は、注釈付きコーパスに適用されるシーケンスラベリングスキームに基づいていますが、従来の方法は統計的な手法を使用しています。私たちのアプローチでは、これら2つのアプローチの概念を統合したいと考えています。私たちは、様々な文脈での振る舞いに焦点を当てた新しい弱く監視された多語表現抽出方法を提案します。私たちの方法は、英語の多語表現を含む語彙をオックスフォード英語辞典から獲得し、深層学習アーキテクチャを用いたニューラル言語モデリングを活用します。私たちのアプローチでは、特定のタスクのために注釈付きコーパスは必要ありません。必要なのは、多語表現の語彙、大規模なコーパス、一般的な文脈埋め込みモデルだけです。私たちは、多語表現の出現をスポットし、統計的な共起を負のサンプルとして獲得することで、シルバーデータセットを構築する方法を提案しています。サンプル表現は、自然言語推論や関係認識で使用される表現に着想を得ています。個々の出現に適用されたCNNネットワークに続いて、全コーパスからの結果を組み合わせるために重み付け投票を使用した結果、非常に良好な結果（F1=0.8）が得られました。提案された方法は、他の言語にも比較的簡単に適用できます。
https://aclanthology.org/2022.acl-srw.36/
A Checkpoint on Multilingual Misogyny Identification
私たちは、英語、イタリア語、スペイン語の3つの言語で、ツイート内の女性嫌悪を単一言語および多言語の設定で特定する問題に取り組んでいます。私たちは、トランスフォーマーの事前学習およびダウンストリームタスクのトレーニングの両方において、単一言語および複数言語を考慮したモデルの変化を探索し、複数言語間の転移学習アプローチによる女性嫌悪の検出の実現可能性を探求します。つまり、単一言語のデータで単一言語のトランスフォーマーをトレーニングし、単一言語および多言語のデータで多言語のトランスフォーマーをトレーニングします。私たちのモデルは、すべての3つの言語で最新のパフォーマンスを発揮します。単一言語のBERTモデルが最も優れており、複数のBERTモデルの異なる構成が続きます。言語間のゼロショット分類ではパフォーマンスが低下します。私たちのエラー分析は、多言語および単一言語のモデルが同じ間違いをする傾向があることを示しています。
https://aclanthology.org/2022.acl-srw.37/
Using dependency parsing for few-shot learning in distributional semantics
この論文では、依存構造解析情報を少数派学習の文脈で利用するという新しいアイデアを探求する。少数派学習とは、限られた文脈文に基づいて稀な単語の意味を学習するタスクである。まず、依存構造ベースの単語埋め込みモデルを少数派学習の背景空間として使用する。次に、依存関係を利用した2つの少数派学習手法を導入し、加算ベースラインモデルを強化する。
https://aclanthology.org/2022.acl-srw.38/
A Dataset and BERT-based Models for Targeted Sentiment Analysis on Turkish Texts
ターゲットセンチメント分析は、与えられたテキストから特定の対象に対する感情を抽出することを目的としています。インターネットの利用が増加し、人々が膨大な量のデータを生成することが増えているため、注目されている分野です。一般的にトレーニングに注釈付きデータが必要な感情分析は、英語など広く研究されている言語に対してはよく研究された分野です。トルコ語などの低資源言語には、そのような注釈付きデータが不足しています。本論文では、ターゲットセンチメント分析に適した注釈付きトルコ語データセットを提供します。また、BERTベースの異なるアーキテクチャを提案し、ターゲットセンチメント分析のタスクを達成するために使用します。結果は、提案されたモデルがターゲットセンチメント分析タスクにおいて従来の感情分析モデルよりも優れていることを示しています。
https://aclanthology.org/2022.acl-srw.39/