A mental state Knowledge–aware and Contrastive Network for early stress and depression detection on social mediaのまとめ

【論文まとめ】A mental state Knowledge–aware and Contrastive Network for early stress and depression detection on social media

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: A mental state Knowledge–aware and Contrastive Network for early stress and depression detection on social media</p>
<p>研究会: Information Processing &#x26; Management</p>
<p>年度: 2022</p>
<p>キーワード: COMET, mental health, NLP, mental state knowledge, mentalisation, Contrasive Learning, MentalRoBERTa, KC-Net</p>
<p>URL: <a href="https://www.sciencedirect.com/science/article/pii/S0306457322000796">https://www.sciencedirect.com/science/article/pii/S0306457322000796</a></p>
<p>DOI: <a href="https://doi.org/10.1016/j.ipm.2022.102961">https://doi.org/10.1016/j.ipm.2022.102961</a></p>
<p>データセット: Depression_Mixed, Dreaddit, SQuAD</p>
<h2>提案手法</h2>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/asccglgh.png" alt=""></p>
<p>上の流れで学習して，メンタル状態を外部知識のEmbeddingを利用しながら捉える</p>
<ol>
<li>
<p>Data Preprocessing</p>
<ul>
<li>nltk sentence tokenizerを使ってpostを文区切にする
<ul>
<li>→文ごとのmental stateを捉えるため</li>
</ul>
</li>
</ul>
</li>
<li>
<p>Context-aware post (CAP) encoder
RoBERTaをdomain-specificなデータで学習した<strong>MentalRoBERTa</strong>なるものがあるのでそれを使って，context-awareなエンコーダとして使用する</p>
</li>
<li>
<p>Mental satte knowledge infusion
mental stateの知識を捉えるため，ATOMICで学習されたGPTベースのCOMETを使用する</p>
<p>理由：</p>
</li>
</ol>
<p>↑mental stateとmental health conditionの関係を捉えるために，ConceptNetではなくATOMICで学習されたものを使った</p>
<ul>
<li>ConceptNet：一般的な言語の概念を含む</li>
<li>ATOMIC：human interactionを捉えたcommonsenseを含む
<ol>
<li>
<p>Feature extraction
以下の5つのaspectを使用した</p>
<ul>
<li>intent of S</li>
<li>effect on S</li>
<li>reaction of S</li>
<li>effect on others</li>
<li>reaction of others</li>
</ul>
<p><strong>面白ポイント：COMETのlm_headを削除し，Transformerの内部のみをEncoderとして扱う</strong></p>
</li>
</ol>
</li>
</ul>
<p>直接的にpost representationをモデルに統合できて，mental-related variablesを適応することが期待できる</p>
<pre><code class="hljs language-markdown"><span class="hljs-code">	CAP embeddingsによるtoken-level representationは，max poolingによってsentence-level representationとされる
</span>
<span class="hljs-code">	$\hat{H}_j^i = max\_pooling(H[P_{j-1}^i : P_j^i])$
</span>
<span class="hljs-bullet">2.</span> Knowledge-aware mentalisation
<span class="hljs-code">	5つの独立したGRUを使用して，mentalのaspect毎に学習するスタイル
</span></code></pre>
<p>これでpost-level representationになる</p>
<pre><code class="hljs language-arduino">	その後GRUによるmental aspectごとのpost-level representationとmax poolingされたsentence-level representationをAttentionすることで統合する
</code></pre>
<ol start="4">
<li>Supervised contrasive learning
より文章のsemantic meaningに注意して学習するために，contrasive learningを使用した</li>
</ol>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/9nzqkqxg.png" alt=""></p>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/u6fwk2ku.png" alt=""></p>
<h2>新規性</h2>
<ul>
<li>mental state knolwedgeを使うことでスピーカー（実験ではpostした人）のmental stateを明示的にモデル化する</li>
<li>model state knowledgeを理解し，使うモデルの能力を強くするため，knowledge-aware dot-product attentionに基づくmentalisation moduleを導入</li>
</ul>
<h2>評価方法</h2>
<p>baseline</p>
<ul>
<li>CNN</li>
<li>GRU</li>
<li>BiLSTM_Attn</li>
<li>LR+Features (Logistic Regression)</li>
<li>EMO_INF</li>
<li>BERT</li>
<li>RoBERTa</li>
<li>MentalRoBERTa</li>
</ul>
<p>Precision / Recall / F1を比較</p>
<h2>何がすごかった？</h2>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/82djhuwa.png" alt=""></p>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/9rsi0ppo.png" alt=""></p>
<ul>
<li>label情報を完全に利用するためのsupervised contrasive learningを使用することでclass-specificな特徴量を捉える必要性を議論</li>
<li>SOTAモデル on three stress and depression detection datasets</li>
</ul>
<h2>次に読みたい論文</h2>
<p>CEM: Commonsense-aware Empathetic Response Generation</p>
<h2>引用</h2>
<blockquote>
<p>@article{YANG2022102961,
title = {A mental state Knowledge–aware and Contrastive Network for early stress and depression detection on social media},
journal = {Information Processing &#x26; Management},
volume = {59},
number = {4},
pages = {102961},
year = {2022},
issn = {0306-4573},
doi = {<a href="https://doi.org/10.1016/j.ipm.2022.102961">https://doi.org/10.1016/j.ipm.2022.102961</a>},
url = {<a href="https://www.sciencedirect.com/science/article/pii/S0306457322000796">https://www.sciencedirect.com/science/article/pii/S0306457322000796</a>},
author = {Kailai Yang and Tianlin Zhang and Sophia Ananiadou},
keywords = {Mental health, Natural language processing, Mental state knowledge, Mentalisation, Contrastive learning},
abstract = {Stress and depression detection on social media aim at the analysis of stress and identification of depression tendency from social media posts, which provide assistance for the early detection of mental health conditions. Existing methods mainly model the mental states of the post speaker implicitly. They also lack the ability to mentalise for complex mental state reasoning. Besides, they are not designed to explicitly capture class-specific features. To resolve the above issues, we propose a mental state Knowledge–aware and Contrastive Network (KC-Net). In detail, we first extract mental state knowledge from a commonsense knowledge base COMET, and infuse the knowledge using Gated Recurrent Units (GRUs) to explicitly model the mental states of the speaker. Then we propose a knowledge–aware mentalisation module based on dot-product attention to accordingly attend to the most relevant knowledge aspects. A supervised contrastive learning module is also utilised to fully leverage label information for capturing class-specific features. We test the proposed methods on a depression detection dataset Depression_Mixed with 3165 Reddit and blog posts, a stress detection dataset Dreaddit with 3553 Reddit posts, and a stress factors recognition dataset SAD with 6850 SMS-like messages. The experimental results show that our method achieves new state-of-the-art results on all datasets: 95.4% of F1 scores on Depression_Mixed, 83.5% on Dreaddit and 77.8% on SAD, with 2.07% average improvement. Factor-specific analysis and ablation study prove the effectiveness of all proposed modules, while UMAP analysis and case study visualise their mechanisms. We believe our work facilitates detection and analysis of depression and stress on social media data, and shows potential for applications on other mental health conditions.}
}</p>
</blockquote>

A Survey of Knowledge-Intensive NLP with Pre-Trained Language Modelsのまとめ

【論文まとめ】A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models</p>
<p>研究会: arxiv</p>
<p>年度: 2022</p>
<p>キーワード: survey, NLP, knowledge-base, PLMKE, commonsense, encyclopedic, Knowledge-Intensive NLP</p>
<p>URL: <a href="https://arxiv.org/pdf/2202.08772.pdf">https://arxiv.org/pdf/2202.08772.pdf</a></p>
<p>DOI: <a href="https://doi.org/10.48550/arXiv.2202.08772">https://doi.org/10.48550/arXiv.2202.08772</a></p>
<p>データセット:</p>
<p>まとめること</p>
<ol>
<li>Knowledge-Intensive NLPの概要</li>
<li>Knowledge Sources
<ol>
<li>Encyclopedic Knowledge</li>
<li>Commonsense Knowledge</li>
<li>最近のKnowledge Sourcesの特徴</li>
</ol>
</li>
<li>Knowledge-Intensive NLP Task
<ol>
<li>Knowledge-Intensive NLP Taskの概要</li>
<li>Knowledge-Intensive NLP Taskの特徴</li>
</ol>
</li>
<li>Knowledge Fusion Methodsについて
<ol>
<li>Pre-Fusion Methods</li>
<li>Post-Fusion Methods</li>
<li>Hybrid-Fusion Methods</li>
<li>代表的なモデルの紹介</li>
</ol>
</li>
<li>Challengingなことと今後の方向性
<ol>
<li>Unified PLMKEs Across Tasks and Domains</li>
<li>Reliability of Knowledge Sources</li>
<li>Reasoning Module Design</li>
</ol>
</li>
</ol>
<h2>概要</h2>
<p>事前学習済みモデルにより，モデルのcapacityは増加傾向にあるが，encyclopedicやcommonsenseを用いた，knowledgeableなNLPモデルの需要の高まりが生じている</p>
<p>**PLMKEs (Pre-trained Language Model-based Knowledge-Enhanced models)**についてまとめたsurvey論文</p>
<p>linguistic or factual knowledgeは暗示的にモデルのパラメータに保存される</p>
<p>→事前学習済みのNLPモデルがより汎用的な能力を持つことを一部ではあるが説明できる</p>
<p>今のpre-trained LMは，明示的なencyclopedicやcommonsenseのレバレッジ能力に欠けている</p>
<p>PLMKEsは，関連する外部知識を取り出すモジュールと知識を混ぜるモジュールがある</p>
<p>PLMKEsに関連した重要な3つの要素がある</p>
<ol>
<li>Knowledge Sources</li>
<li>Knowledge-Intensive NLP Tasks</li>
<li>Knowledge Fusion Methods</li>
</ol>
<h2>Knowledge Sources</h2>
<h3>Encyclopedic knowledge</h3>
<p>エンティティに関する属性とエンティティ間の関係性をもった知識</p>
<p>Entity: person → Attributes: age → Relations: educated at</p>
<p>Wikipediaは大量のencyclopedicな知識を持っている</p>
<p>人物の経歴やイベントの背景などを含んでいる</p>
<p>一般的にはtripletsで構成されていることが多い</p>
<p>e.g. &#x3C;Tom Hanks, occupation, actor></p>
<p>Wikidataのような知識データがPLMKEsに広く使用されている</p>
<h3>Commonsense Knowledge</h3>
<p>日常生活のなかでの状況に関する知識</p>
<p>イベントとその影響を記す</p>
<p>e.g. mop up the floor if we split food over it / study hard to win scholarship / goat has four legs</p>
<p>commonsenseの特徴</p>
<p>多くの人の間で共有されている知識であり，コミュニケーションの中で暗示的に想定されている知識である</p>
<p>commonsenseもtripletsで表現される</p>
<p>最近のPLMKEsでは，ConceptNetとATOMICが外部知識として使用されることが多い</p>
<h3>Knowledge Sourcesの特徴</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/gcgqsmdk.png" alt=""></p>
<p>large-scaleでdiverse</p>
<p>現在のソースはより正確で安定的に作られている</p>
<p>アノテーションのプロセスは部分的に自動化されていて，非エキスパートにもaccessibleになっている</p>
<p>知識データがカバーするドメインは多様</p>
<p>オープンドメインのものもあれば，specificなドメインのものも</p>
<p>Wikipedia, DBPedia, Freebaseなどはオープンドメイン</p>
<p>UMLSやAMinerなどはbiomedicineやscienceの特定ドメイン</p>
<p>domain-specificなアプリケーションをブーストできる知識</p>
<p>commonsenseに関しては</p>
<p>ConceptNetやTransOMCSは複数のドメインのcommonsenseをカバー</p>
<p>ATOMICやASERはある特定のタイプのcommonsenseにフォーカスした知識ソース</p>
<h2>Knowledge-Intensive NLP Task</h2>
<h3>概要</h3>
<p>Knowledge-intensive NLP taskは必要とする知識ソースの種類で2つに分けられ，さらに詳細に分けることができる</p>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/ju1lqjam.png" alt=""></p>
<ul>
<li>
<p>encyclopedic knowledge-intensive NLP task
encyclopedicの知識ソースを利用する</p>
<ul>
<li>open-domain QA</li>
<li>fact verification</li>
<li>entity linking</li>
</ul>
</li>
</ul>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/kr89pm58.png" alt=""></p>
<ul>
<li>
<p>commonsense knowledge-intensive NLP task
commonsenseの知識ソースを利用する</p>
<p>commonsenseの多様性のために，タスクのタイプ自体も多様化している</p>
<p>モデルが正確に日常のシナリオを理解し，応答するか否かのテストにフォーカスしたタスク</p>
<ul>
<li>General Commonsense</li>
<li>Social Commonsense</li>
<li>Physical Commonsense</li>
<li>Temporal Commonsense</li>
</ul>
</li>
</ul>
<h3>Knowledge-Intensive Taskの特徴</h3>
<p>実際は，モデルにとってだけではなく，人間にとってもいかなる知識の参照なしに問題に答えるのは難しい．（バラクオバマの誕生日はいつ？など</p>
<p>しかも，外部知識が必要なのにinputとして必要な外部知識が渡されないため，とてもチャレンジングなタスクになっている</p>
<p>そもそも必要な外部知識にグラウンディングするモジュールをPLMKEsの設計に加えることを考慮するようになっている</p>
<h2>Knowledge Fusion Methods</h2>
<p>モデルが知識を統合するステージは二箇所あり，</p>
<ul>
<li>Pre-fusion; pre-training</li>
<li>Post-fusion; fine-tuning</li>
</ul>
<p>の二通りが考えられる（もしくはその両方のステージ</p>
<h3>Pre-Fusion Methods</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/z4lvh39q.png" alt=""></p>
<p>pre-trainingのステージで知識を統合する手法</p>
<p>モデルに知識を入力するため，構造化された知識データを非構造化データのテキストコーパスへと処理→モデルに入力</p>
<p>テキストデータとして知識を入力するため，大きくモデルのアーキテクチャを変更する必要はない</p>
<p>ただし，知識グラフのような構造化データを非構造化データへ変えることは難しいこともある</p>
<p>簡単な対処法はエンティティと関係性を結合するか，流暢な文章をconditional text generation modelに生成させるか</p>
<p>Zhang et al. 2019 | Agarwal et al. 2021 を参照（必要になれば読む</p>
<h3>Post-Fusion Methods</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/bshr899d.png" alt=""></p>
<p>まず，関連知識をキャプチャする</p>
<p>次に取得した関連知識をGNNなどのエンコーダでembeddingを得る</p>
<ul>
<li>それを追加特徴量としてpre-trained LMに与える（図でいうA）</li>
<li>直接pre-trained LMに入力する（図でいうB）</li>
</ul>
<h3>Hybrid-Fusion Methods</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/1yg24grj.png" alt=""></p>
<p>pre-trainingとfine-tuningの両方のステージで知識を統合する</p>
<p>追加の学習されるretrieverによりaugmentされたpre-trained modelは，fine-tuningのステージでより効果的にretrieverからの知識を活用できる</p>
<p>retrieval-augmented pre-trainingでhybrid-fusionが広く使われている</p>
<h3>代表的なモデル</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/xh93uokd.png" alt=""></p>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/cl36oka6.png" alt=""></p>
<p>Table4/5はSOTAモデルを示す</p>
<p>encyclopedic knowledge-intensive taskにおいては，BOOLQをのぞき，全てpost-fusionを採用</p>
<p>commonsense knowledge-intensive taskにおいては，CommonsenseQAをのぞき，全てpre-fusionを採用</p>
<p>pre-fusionとpost-fusionの違いは何？</p>
<p>pre-fusionは，知識を事前学習のパラメータに暗示的に保存数る</p>
<p>最終的にどの知識がパラメータに保存するのかを決定するのは難しい</p>
<p>知識の引き出しや利用の難しさが増す</p>
<p>post-fusionは，明示的で具体的なテキストの知識を推論できる</p>
<p>post-fusionの利点は，commonsense knolwedge-intensive taskでは欠点になりうる</p>
<p>commonsenseはたいていテキストの中に暗示的に置かれていて，commonsenseの知識ソースのカバー範囲はencyclopedicの知識ソースのカバー範囲に比べればとても小さい</p>
<p>large-scaleなcommonsenseのソースの利用がたとえ有用だとしても，日常生活で使われる大半のcommonsenseを見落としがちなまま</p>
<p>→commonsenseにおいて，post-fusionがあまり効かないのはそのためなのでは？</p>
<h2>Challenges and Future Directions</h2>
<h3>Unified PLMKEs Across Tasks and Domains</h3>
<p>task-specificなモデリングでは進展がある</p>
<p>post-fusionとhybrid-fusionはencyclopedicで適用されているが，commonsenseでは採用できておらず恩恵が得られていない</p>
<p>異なるタスク間でのPLMKEsはユニークであるため，各タスク間で互換性がない</p>
<p>biomedicalやlegalの知識に関するknowledge-intensive NLP taskまで拡張されている</p>
<p>最近では，異なる時間や地域に存在する知識の多様性に対しても重要度を割り当てている</p>
<p>タスク間やdomain間でのunified PLMKEsの必要性がましている</p>
<h3>Reliability of Kowledge Sources</h3>
<p>知識ソースの信頼性に関して</p>
<p>多くのlarge-scaleな知識ソースは自動的な知識獲得アルゴリズムで構築されている</p>
<p>→スケールと正確性はトレードオフになってしまう</p>
<p>PLMKEsにおけるバイアスの増幅はバイアスのある知識ソースによって構築されてしまう</p>
<p>知識獲得アルゴリズムの見直しや使う前の知識ソースの注意深い精査が必要である</p>
<h3>Reasoning Module Design</h3>
<p>Reasoningはknowledge-intensive NLP taskを解く上で重要なステップである</p>
<p>commonsenseを考えるときは手順を踏んで，複雑な状況を把握する</p>
<p>e.g. <someone spilled="" the="" food="" all="" over="" floor=""></someone></p>
<p>まず，床が綺麗でないことを把握</p>
<p>こぼした食べ物を踏んで他の人の靴が汚くなったのだろうと考える</p>
<p>↑上記状況を踏まえて，モップをかける意図が生まれる</p>
<p>人間のような日々の状況を認識する能力を獲得するには，multi-hopなreasoning moduleが必要になる（上の例みたいな形</p>
<h2>引用</h2>
<blockquote>
</blockquote>

自然言語処理という機械学習のタスクにおいて「コーパス」という言葉が出てきます。そのコーパスについてお話をしていきます。

自然言語処理(NLP)のコーパスって何なん？

<h2>コーパスとは</h2>
<p>**コーパス(corpus)**とは、集めた文書のことをいいます。</p>
<p>もともとの原義としては、ある主題とかある作者に関する文書を集めたものがコーパスと呼ばれていたそうです。</p>
<p>現在はもう少し広義で捉えられ、<strong>文書や音声を集めたデータそのもの、あるいはデータに情報を付与して加工したもの</strong>を総称してコーパスというそうです。</p>
<p>最近の自然言語処理のタスクの進展は、このコーパスに活用による部分が多いです。</p>
<h2>生コーパス(raw corpus)</h2>
<p>前のセクションで話したように、コーパスには加工を加えたものと、そのまま生データのものと二通り考えられました。</p>
<p>そこで、生データのままの文章や音声を「<strong>生コーパス(raw corpus)</strong>」と呼ぶことができます。</p>
<h2>翻訳に関するコーパスの分類</h2>
<p>生コーパスの中でも、その種はいくつか存在します。
このトピックでは機械翻訳で扱われるようなコーパスの分類についてお話します。</p>
<h2>#対訳コーパス／パラレルコーパス</h2>
<p>まずは、「<strong>対訳コーパス(bilingual corpus)</strong>」または「<strong>パラレルコーパス(parallel corpus)</strong>」です。</p>
<p>この対訳コーパスとは、翻訳関係にある2言語の文書対を収集した生コーパスになります。このコーパスは、非常に貴重ではありますが、なかなか入手しにくい希少なデータです。しかし、この対訳コーパスは機械翻訳においてとても重要な知識源となっていることは確かです。</p>
<h2>#コンパラブルコーパス</h2>
<p>対訳コーパスでは、希少なコーパスであったのに対して、  「<strong>コンパラブルコーパス(comparable corpus)</strong>」は、しっかりとした対訳関係にないにしても、同じトピックに関して2言語の文書対のコーパスです。</p>
<p>コンパラブルコーパスは、対訳コーパスほどきっちりとした対訳が制約されないので、このような文書は大量に存在します。これらの文書を収集したものがコンパラブルコーパスです。</p>
<p>例としてわかりやすいのは、Wikipedeaでしょう。  Wikipediaでは言語リンクでつながった複数の言語でのページが存在します。これらの文書対ではきっちりとした対訳は保証されませんが、大量のデータを入手することができ、これも極めて重要な知識源となります。</p>
<h2>まとめ</h2>
<p>以上がコーパスに関する簡単な説明でした。他にも均衡コーパス(balanced corpus)や注釈コーパス(annotated corpus)といった分類もあります。</p>
<p>ここで抑えるべき重要なことは、コーパスとは広義で<strong>文書や音声を集めたデータそのもの、あるいはデータに情報を付与して加工したもの</strong>ということでしょう。</p>
<p>今回は主にコーパスの説明とともに生コーパスについての説明をしていきました。実際に加工を加えたコーパスに関しては、また別の記事にしたいと思います!</p>