A Survey of Knowledge-Intensive NLP with Pre-Trained Language Modelsのまとめ

【論文まとめ】A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models

本記事において使用される図表は，原著論文内の図表を引用しています．
また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．
<h2>論文情報</h2>
タイトル: A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models
研究会: arxiv
年度: 2022
キーワード: survey, NLP, knowledge-base, PLMKE, commonsense, encyclopedic, Knowledge-Intensive NLP
URL: <a href="https://arxiv.org/pdf/2202.08772.pdf">https://arxiv.org/pdf/2202.08772.pdf</a>
DOI: <a href="https://doi.org/10.48550/arXiv.2202.08772">https://doi.org/10.48550/arXiv.2202.08772</a>
データセット:
まとめること
<ol>
<li>Knowledge-Intensive NLPの概要</li>
<li>Knowledge Sources
<ol>
<li>Encyclopedic Knowledge</li>
<li>Commonsense Knowledge</li>
<li>最近のKnowledge Sourcesの特徴</li>
</ol>
</li>
<li>Knowledge-Intensive NLP Task
<ol>
<li>Knowledge-Intensive NLP Taskの概要</li>
<li>Knowledge-Intensive NLP Taskの特徴</li>
</ol>
</li>
<li>Knowledge Fusion Methodsについて
<ol>
<li>Pre-Fusion Methods</li>
<li>Post-Fusion Methods</li>
<li>Hybrid-Fusion Methods</li>
<li>代表的なモデルの紹介</li>
</ol>
</li>
<li>Challengingなことと今後の方向性
<ol>
<li>Unified PLMKEs Across Tasks and Domains</li>
<li>Reliability of Knowledge Sources</li>
<li>Reasoning Module Design</li>
</ol>
</li>
</ol>
<h2>概要</h2>
事前学習済みモデルにより，モデルのcapacityは増加傾向にあるが，encyclopedicやcommonsenseを用いた，knowledgeableなNLPモデルの需要の高まりが生じている
**PLMKEs (Pre-trained Language Model-based Knowledge-Enhanced models)**についてまとめたsurvey論文
linguistic or factual knowledgeは暗示的にモデルのパラメータに保存される
→事前学習済みのNLPモデルがより汎用的な能力を持つことを一部ではあるが説明できる
今のpre-trained LMは，明示的なencyclopedicやcommonsenseのレバレッジ能力に欠けている
PLMKEsは，関連する外部知識を取り出すモジュールと知識を混ぜるモジュールがある
PLMKEsに関連した重要な3つの要素がある
<ol>
<li>Knowledge Sources</li>
<li>Knowledge-Intensive NLP Tasks</li>
<li>Knowledge Fusion Methods</li>
</ol>
<h2>Knowledge Sources</h2>
<h3>Encyclopedic knowledge</h3>
エンティティに関する属性とエンティティ間の関係性をもった知識
Entity: person → Attributes: age → Relations: educated at
Wikipediaは大量のencyclopedicな知識を持っている
人物の経歴やイベントの背景などを含んでいる
一般的にはtripletsで構成されていることが多い
e.g. &#x3C;Tom Hanks, occupation, actor>
Wikidataのような知識データがPLMKEsに広く使用されている
<h3>Commonsense Knowledge</h3>
日常生活のなかでの状況に関する知識
イベントとその影響を記す
e.g. mop up the floor if we split food over it / study hard to win scholarship / goat has four legs
commonsenseの特徴
多くの人の間で共有されている知識であり，コミュニケーションの中で暗示的に想定されている知識である
commonsenseもtripletsで表現される
最近のPLMKEsでは，ConceptNetとATOMICが外部知識として使用されることが多い
<h3>Knowledge Sourcesの特徴</h3>
<img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/gcgqsmdk.png" alt="">
large-scaleでdiverse
現在のソースはより正確で安定的に作られている
アノテーションのプロセスは部分的に自動化されていて，非エキスパートにもaccessibleになっている
知識データがカバーするドメインは多様
オープンドメインのものもあれば，specificなドメインのものも
Wikipedia, DBPedia, Freebaseなどはオープンドメイン
UMLSやAMinerなどはbiomedicineやscienceの特定ドメイン
domain-specificなアプリケーションをブーストできる知識
commonsenseに関しては
ConceptNetやTransOMCSは複数のドメインのcommonsenseをカバー
ATOMICやASERはある特定のタイプのcommonsenseにフォーカスした知識ソース
<h2>Knowledge-Intensive NLP Task</h2>
<h3>概要</h3>
Knowledge-intensive NLP taskは必要とする知識ソースの種類で2つに分けられ，さらに詳細に分けることができる
<img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/ju1lqjam.png" alt="">
<ul>
<li>
encyclopedic knowledge-intensive NLP task
encyclopedicの知識ソースを利用する
<ul>
<li>open-domain QA</li>
<li>fact verification</li>
<li>entity linking</li>
</ul>
</li>
</ul>
<img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/kr89pm58.png" alt="">
<ul>
<li>
commonsense knowledge-intensive NLP task
commonsenseの知識ソースを利用する
commonsenseの多様性のために，タスクのタイプ自体も多様化している
モデルが正確に日常のシナリオを理解し，応答するか否かのテストにフォーカスしたタスク
<ul>
<li>General Commonsense</li>
<li>Social Commonsense</li>
<li>Physical Commonsense</li>
<li>Temporal Commonsense</li>
</ul>
</li>
</ul>
<h3>Knowledge-Intensive Taskの特徴</h3>
実際は，モデルにとってだけではなく，人間にとってもいかなる知識の参照なしに問題に答えるのは難しい．（バラクオバマの誕生日はいつ？など
しかも，外部知識が必要なのにinputとして必要な外部知識が渡されないため，とてもチャレンジングなタスクになっている
そもそも必要な外部知識にグラウンディングするモジュールをPLMKEsの設計に加えることを考慮するようになっている
<h2>Knowledge Fusion Methods</h2>
モデルが知識を統合するステージは二箇所あり，
<ul>
<li>Pre-fusion; pre-training</li>
<li>Post-fusion; fine-tuning</li>
</ul>
の二通りが考えられる（もしくはその両方のステージ
<h3>Pre-Fusion Methods</h3>
<img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/z4lvh39q.png" alt="">
pre-trainingのステージで知識を統合する手法
モデルに知識を入力するため，構造化された知識データを非構造化データのテキストコーパスへと処理→モデルに入力
テキストデータとして知識を入力するため，大きくモデルのアーキテクチャを変更する必要はない
ただし，知識グラフのような構造化データを非構造化データへ変えることは難しいこともある
簡単な対処法はエンティティと関係性を結合するか，流暢な文章をconditional text generation modelに生成させるか
Zhang et al. 2019 | Agarwal et al. 2021 を参照（必要になれば読む
<h3>Post-Fusion Methods</h3>
<img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/bshr899d.png" alt="">
まず，関連知識をキャプチャする
次に取得した関連知識をGNNなどのエンコーダでembeddingを得る
<ul>
<li>それを追加特徴量としてpre-trained LMに与える（図でいうA）</li>
<li>直接pre-trained LMに入力する（図でいうB）</li>
</ul>
<h3>Hybrid-Fusion Methods</h3>
<img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/1yg24grj.png" alt="">
pre-trainingとfine-tuningの両方のステージで知識を統合する
追加の学習されるretrieverによりaugmentされたpre-trained modelは，fine-tuningのステージでより効果的にretrieverからの知識を活用できる
retrieval-augmented pre-trainingでhybrid-fusionが広く使われている
<h3>代表的なモデル</h3>
<img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/xh93uokd.png" alt="">
<img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/cl36oka6.png" alt="">
Table4/5はSOTAモデルを示す
encyclopedic knowledge-intensive taskにおいては，BOOLQをのぞき，全てpost-fusionを採用
commonsense knowledge-intensive taskにおいては，CommonsenseQAをのぞき，全てpre-fusionを採用
pre-fusionとpost-fusionの違いは何？
pre-fusionは，知識を事前学習のパラメータに暗示的に保存数る
最終的にどの知識がパラメータに保存するのかを決定するのは難しい
知識の引き出しや利用の難しさが増す
post-fusionは，明示的で具体的なテキストの知識を推論できる
post-fusionの利点は，commonsense knolwedge-intensive taskでは欠点になりうる
commonsenseはたいていテキストの中に暗示的に置かれていて，commonsenseの知識ソースのカバー範囲はencyclopedicの知識ソースのカバー範囲に比べればとても小さい
large-scaleなcommonsenseのソースの利用がたとえ有用だとしても，日常生活で使われる大半のcommonsenseを見落としがちなまま
→commonsenseにおいて，post-fusionがあまり効かないのはそのためなのでは？
<h2>Challenges and Future Directions</h2>
<h3>Unified PLMKEs Across Tasks and Domains</h3>
task-specificなモデリングでは進展がある
post-fusionとhybrid-fusionはencyclopedicで適用されているが，commonsenseでは採用できておらず恩恵が得られていない
異なるタスク間でのPLMKEsはユニークであるため，各タスク間で互換性がない
biomedicalやlegalの知識に関するknowledge-intensive NLP taskまで拡張されている
最近では，異なる時間や地域に存在する知識の多様性に対しても重要度を割り当てている
タスク間やdomain間でのunified PLMKEsの必要性がましている
<h3>Reliability of Kowledge Sources</h3>
知識ソースの信頼性に関して
多くのlarge-scaleな知識ソースは自動的な知識獲得アルゴリズムで構築されている
→スケールと正確性はトレードオフになってしまう
PLMKEsにおけるバイアスの増幅はバイアスのある知識ソースによって構築されてしまう
知識獲得アルゴリズムの見直しや使う前の知識ソースの注意深い精査が必要である
<h3>Reasoning Module Design</h3>
Reasoningはknowledge-intensive NLP taskを解く上で重要なステップである
commonsenseを考えるときは手順を踏んで，複雑な状況を把握する
e.g. <someone spilled="" the="" food="" all="" over="" floor=""></someone>
まず，床が綺麗でないことを把握
こぼした食べ物を踏んで他の人の靴が汚くなったのだろうと考える
↑上記状況を踏まえて，モップをかける意図が生まれる
人間のような日々の状況を認識する能力を獲得するには，multi-hopなreasoning moduleが必要になる（上の例みたいな形
<h2>引用</h2>
<blockquote>
</blockquote>