Overleaf+VSCode+GitHub+etcな執筆環境を整えるための環境構築ログです．

Overleaf+VSCode+GitHub+etcな執筆環境を整える

<p>無料のOverleaf環境ではGitHub連携ができないなぁと思い、ローカルに紐づけて執筆して、執筆のバージョン管理を行いたいぁと思っていたら、しゅんけーさん（<a href="https://twitter.com/shunk031">@shunk031</a>）の次のポストを発見！</p>
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">書籍執筆で VSCode 上で Overleaf のファイルを編集できる拡張機能を使っているのですがやばすぎる。特に GitHub Copilot と組み合わせることでこれまで書いてきた文を元に suggest が効いてきて執筆効率が上がっています…<a href="https://t.co/RdOzcQZgzP">https://t.co/RdOzcQZgzP</a></p>— しゅんけー (@shunk031) <a href="https://twitter.com/shunk031/status/1731665542942240826?ref_src=twsrc%5Etfw">December 4, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>
<p>なんだかこれは良さそうな雰囲気！！</p>
<p>と言うわけで、今回はOverleaf + VSCode + GitHubを連携させて、+αを使った環境の構築を試みます．（本編でのαはGrammarly）</p>
<h2>環境</h2>





















<table><thead><tr><th align="center"></th><th align="center">バージョン</th></tr></thead><tbody><tr><td align="center">PC</td><td align="center">Macbook Pro M2</td></tr><tr><td align="center">OS</td><td align="center">macOS Sonoma</td></tr><tr><td align="center">VSCode</td><td align="center">1.84.2</td></tr></tbody></table>
<h2>環境構築</h2>
<p>以下の手順で構築していきます．</p>
<ol>
<li><a href="https://github.com/iamhyc/Overleaf-Workshop">Overleaf-Workshop</a>の拡張機能をVScodeに入れる</li>
<li><a href="https://github.com/James-Yu/LaTeX-Workshop">Latex-Workshop</a>の拡張機能をVSCodeに入れる</li>
<li>Latex-Workshopの設定を変更</li>
<li><a href="https://formulae.brew.sh/formula/texlive">texlive</a>をインストール</li>
<li>+α <a href="https://github.com/znck/grammarly">Grammarly</a>の拡張機能をVSCodeに入れる</li>
<li>Grammarlyの設定を変更</li>
</ol>
<p>1, 3, 5はVSCodeの拡張機能で検索すれば一瞬で出てくるのでスキップ．</p>
<h3>Latex-Workshopの設定を変更</h3>
<p>Latex-Workshopの設定を変更します．以下を設定から変えましょう．<code>cmd+,</code>で設定のタブが開けると思います．</p>
<pre><code class="hljs language-diff">Latex-workshop › Latex › Recipe: Default
<span class="hljs-deletion">- first</span>
<span class="hljs-addition">+ lastUsed</span>
</code></pre>
<p>onSaveでtexソースをビルドするときに、デフォルト設定の<code>first</code>のままだとpdflatexのビルドが走ってしまいます．
日本語で書く場合や、日本語が含まれる場合はLuaTexを使っている人が多いと思いますが（？）、そうなるとマウスぽちぽちでLuaTex用のビルドを走らせるのがだるいです．</p>
<p>そのため、最後に使用したビルドの設定を反映させるためlastUsedにしておくと楽だと思います．</p>
<h3>texliveをインストール</h3>
<p>これも説明するまでもないです．<code>brew</code>で簡単にインストールできるので、以下を叩きましょう．ちなみに<code>texlive</code>が嫌な人はこちらが代替になりそうです[<a href="https://github.com/James-Yu/LaTeX-Workshop/wiki/Install#requirements">wiki</a>]．</p>
<pre><code class="hljs language-bash">$ brew install texlive
</code></pre>
<p>結構重いし、依存関係も割と多いので時間がかかりますが、待ちましょう．</p>
<h3>Grammarlyの設定を変更</h3>
<p>Grammarlyの実行対象ファイルを設定します．</p>
<p>対象のデフォルトは以下になっています．</p>
<pre><code class="hljs language-bash">Grammarly › Files: Include
**/readme.md
**/README.md
**/*.txt
</code></pre>
<p>LaTexも動作対象にするため、<code>**/*.tex</code>を追加しましょう．</p>
<pre><code class="hljs language-markdown">Grammarly › Files: Include
<span class="hljs-strong">**/readme.md
**</span>/README.md
<span class="hljs-strong">**/<span class="hljs-emphasis">*.txt
*</span><span class="hljs-emphasis">*/*</span>.tex
</span></code></pre>
<p>これで、texファイルもGrammarlyの動作対象とすることができました．</p>
<h2>さぁ、執筆だ！</h2>
<p>まずはOverleafと接続しましょう．やり方は、<a href="https://github.com/iamhyc/Overleaf-Workshop">GitHubの指示</a>の通りでcokieを使ってログインします．</p>
<p>次に、対象のプロジェクトを任意のディレクトリに反映させます．これも↑と同様に書いてあります！</p>
<p><img src="https://raw.githubusercontent.com/iamhyc/Overleaf-Workshop/master/docs/assets/demo07-local.gif" alt="demo07-local.gif"></p>
<p>ここまで問題なく来れれば、あとはローカルでLatex-Workshopに身を任せて執筆していきます．</p>
<h2>GitHub連携する</h2>
<p>書ききったらバージョン管理をしていくわけですが、tagとかで管理すればいいんではないかなぁと言う雑な考えで管理してみます．</p>
<p>ちなみに、修正の余地はありそうですが、一旦以下の<code>.gitignore</code>を適用しました．pdf以外のビルド時のartifactsはコミットしないためです．</p>
<pre><code class="hljs language-c"><span class="hljs-comment">/**/</span>*.aux
<span class="hljs-comment">/**/</span>*.bbl
<span class="hljs-comment">/**/</span>*.blg
<span class="hljs-comment">/**/</span>*.fdb_latexmk
<span class="hljs-comment">/**/</span>*.fls
<span class="hljs-comment">/**/</span>*.<span class="hljs-built_in">log</span>
<span class="hljs-comment">/**/</span>*.out
<span class="hljs-comment">/**/</span>*.spl
<span class="hljs-comment">/**/</span>*.synctex.gz
</code></pre>
<p>tagを登録して、バージョン管理してみる．</p>
<pre><code class="hljs language-bash">$ git add .
$ git commit -m v0
$ git tag v0
$ git push --tags
</code></pre>
<h2>課題</h2>
<p>これでOverleafの執筆内容をローカルに移し、ローカルでの執筆をOverleaf上に反映させることができます．</p>
<p>しかし、多少課題があり、改善する方法を考えても良いのかなぁと言う点があります．</p>
<p><strong>ローカル執筆環境で作成したファイルがOverleaf上に反映されるのは良いのですが、削除が反映されません．</strong></p>
<p>Overleaf上に戻ったときに、いらないものを消さなければ行けなさそうなのがダルそうです．</p>
<p>あと、<code>hoge.fuga</code>が<code>hoge.fuga.git</code>として反映される場合があり...</p>
<p>この辺は対処法を探したほうがよさそうです．</p>
<p>とはいえ、これでローカルで執筆ができますし、作業内容はOverleafに同期されますし、しゅんけーさんの言うようにcopilotを使って執筆が捗ること考えれば旨味がでかいかもしれませんね！</p>

Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understandingのまとめ

【論文まとめ】Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding</p>
<p>研究会: EMNLP</p>
<p>年度: 2023</p>
<p>キーワード: LLM, multi-modal, Demo</p>
<p>URL: <a href="https://arxiv.org/pdf/2306.02858.pdf">https://arxiv.org/pdf/2306.02858.pdf</a></p>
<p>DOI: <a href="https://doi.org/10.48550/arXiv.2306.02858">https://doi.org/10.48550/arXiv.2306.02858</a></p>
<p>コード: <a href="https://github.com/damo-nlp-sg/video-llama">https://github.com/damo-nlp-sg/video-llama</a></p>
<p>データセット: MSR-VTT, MSVD, VideoInstruct, ActivityNet-QA</p>
<h2>概要</h2>
<p>ビデオ中の動画と音声を理解できるVideo-LLaMAを提案</p>
<p>Video Q-Former (BLIP2)とAudio Q-Former (Imagebind)を用いて，動画のシーン間の変化を捉えたり，audio-visualな情報を統合したりする</p>
<p>Video-LLaMAは動画を理解して，ビデオ中の動画や音声に基づいた意味のある応答を生成できる</p>
<p><a href="https://huggingface.co/spaces/DAMO-NLP-SG/Video-LLaMA">デモ on huggingface</a></p>
<h2>提案手法</h2>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/sxpfrxf6.png" alt=""></p>
<h3>Architecture</h3>
<p>図の通り，Vision-Language BranchとAudio-Language Branchに分岐</p>
<p><strong>Vision-Language Branch</strong></p>
<ol>
<li>各フレームをフリーズしたBLIP2に入力（EVA-CLIPのViT-G/14とpre-trained Q-Former）</li>
<li>positional embeddingを適用</li>
<li>Video Q-Former</li>
<li>線形層</li>
<li>LLMへ</li>
</ol>
<p><strong>Audio-Language Branch</strong></p>
<ol>
<li>2秒ごとに音声をクリップ</li>
<li>各クリップ音声を128 binsのメルスペクトログラムに変換</li>
<li>Imagebind (as Audio Encoder)</li>
<li>Imagebindの出力に対して，learnableなpositional embeddingを加算</li>
<li>Audio Q-former</li>
<li>線形層</li>
<li>LLMへ</li>
</ol>
<h3>Multi-branch Cross-modal Training</h3>
<p><strong>Vision-Language Branchの学習</strong></p>
<p>事前学習→インストラクションチューニング</p>
<p>事前学習データセット：Webvid-2M，CC595k（CC3Mからフィルタされたもの）</p>
<p>インストラクションデータセット：MIniGPT4，LLaVA，Video-Chat</p>
<p>インストラクションチューニングすると，Video-LLaMAは良い能力を発揮</p>
<p><strong>Audio-Language Branchの学習</strong></p>
<p>audio-textなデータが少ないことが課題</p>
<p>→<strong>異なるモダリティを同じ埋め込み空間にalignmentするImagebindをAudio Encoderとして用い，visual-textデータを使って学習</strong></p>
<p>音声データで学習しないが，推論時は音声を理解することができる</p>
<h2>新規性</h2>
<ul>
<li>与えられたビデオの動画と音声を同時に処理して，会話ができるVideo-LLaMAを提案</li>
<li>vision-language alignmentとaudio-language alignmentの両方を達成するmulti-branch cross-modal pre-training frameworkを提案</li>
</ul>
<h2>Examples</h2>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/4pkwtgeu.png" alt=""></p>
<p>動画と音声の両方を理解できている例</p>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/ke9lg4al.png" alt=""></p>
<p>Temporal dynamicsを理解できている例</p>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/dkti6vzg.png" alt=""></p>
<p>staticな画像を理解できている例</p>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/55eess6q.png" alt=""></p>
<p>一般的な知識を示せている例</p>
<p>chat形式の例は論文のappendixを参照</p>
<h2>まとめ</h2>
<p>動画と音声を理解できるVideo-LLaMAを提案</p>
<p>Vision-Language BranchとAudio-Language Branchで分岐して，動画と音声を理解するアーキテクチャを提案し，Imagebindをvisual-textデータで学習することでaudio-textデータの少なさをカバー</p>
<p>Hallcinationがあることや，映画やテレビのような長い動画を処理できないことがlimitaitions</p>
<h2>その他</h2>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/tq9elvwf.png" alt=""></p>
<p>ポピュラーなマルチモーダルLLM</p>
<p><strong>所感</strong></p>
<p>Imagebindで同じ埋め込み空間に異なるモダリティの埋め込みを押し込んでいるのを利用して，audio-textデータの少なさをカバーしているのが上手いのだろうが，それでうまくいくことにちょっと気持ち悪さが残った（個人的に，大規模なaudio-textデータ構築へのモチベがより大きくなるなど）</p>
<p>素人感想だと，Audio-Language BranchにImagebindを使うのなら，Vision-Lannguage BranchもImagebindで良いのでは？と思った</p>
<p>とはいえ，temporalな情報をLLMで扱う手法はかなり参考になる</p>
<h2>次読みたい論文</h2>
<p><strong><a href="https://arxiv.org/abs/2305.05665">ImageBind: One Embedding Space To Bind Them All</a></strong></p>
<p><strong><a href="https://arxiv.org/abs/2304.12995">AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head</a></strong></p>
<h2>引用</h2>
<blockquote>
<p>@article{zhang2023video,
title={Video-llama: An instruction-tuned audio-visual language model for video understanding},
author={Zhang, Hang and Li, Xin and Bing, Lidong},
journal={arXiv preprint arXiv:2306.02858},
year={2023}
}</p>
</blockquote>

Connecting Speech Encoder and Large Language Model for ASRのまとめ

【論文まとめ】Connecting Speech Encoder and Large Language Model for ASR

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Connecting Speech Encoder and Large Language Model for ASR</p>
<p>研究会: arxiv</p>
<p>年度: 2023</p>
<p>キーワード: ASR, LLM</p>
<p>URL: <a href="https://arxiv.org/pdf/2309.13963.pdf">https://arxiv.org/pdf/2309.13963.pdf</a></p>
<p>DOI: <a href="https://doi.org/10.48550/arXiv.2309.13963">https://doi.org/10.48550/arXiv.2309.13963</a></p>
<p>データセット: LibriSpeech, Common Voice, GigaSpeech</p>
<h2>概要</h2>
<p>ASRモデルのエンコーダとLLMを結合して，ASRモデルを構築（Whisper → Vicuna）</p>
<p>結合の方法として，全結合層，マルチヘッドクロスアテンシション，Q-Formerの3種類を試し，性能を比較</p>
<p>→ 組み合わせとしては，Wisper large-v2，80個の学習クエリを用いたQ-FormerとVicuna 13Bの組み合わせが良さそう</p>
<p>→ また，LLMのモデルサイズよりも，ASRモデルの性能の方がクリティカル（Whisper large-v2 > medium > base）</p>
<p>Seg-QF (Segment-level Q-Former)を提案</p>
<p>→ ASRモデルに入力可能な系列長を超えて処理ができる（i.e., Whisperは30sの制限）</p>
<p>→ 長い音声入力に対して，うまくいけばASR性能を向上できるが，入力が長すぎるとLLMのhallucinationを悪化させることも観測</p>
<h2>提案手法</h2>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/1iwl044a.png" alt=""></p>
<p>ASRモデルエンコーダとLLMの結合に3種類を試す</p>
<ol>
<li>全結合層
<ol>
<li>Conv1d → 線形層 → ReLU → 線形層</li>
</ol>
</li>
<li>マルチヘッドクロスアテンション
<ol>
<li>Conv1d → マルチヘッドクロスアテンション</li>
<li>クエリにはエンコーダの出力をConv1dにかけた埋め込み，キーとバリューはVicunaのテキスト埋め込み</li>
</ol>
</li>
<li>Q-Former</li>
</ol>
<h3>Seg-QF (Segment-level Q-Former)</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/q4cga6ej.png" alt=""></p>
<p>ASRの入力系列長を超えた時に，セグメントごとに処理をするアーキテクチャ</p>
<p>各セグメントの位置情報を埋め込むため，sinusoid positional encodingをASRエンコーダの出力に対して適用</p>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/sh6r2b3c.png" alt=""></p>
<p>数式としてはこんな感じで，最後に各セグメントのQ-Formerの出力をconcatして，LLMに渡す</p>
<h2>新規性</h2>
<ul>
<li>ASRモデルとLLMを結合してASRモデルを構築する際，2つのモデルの結合方法として3種類を調査
<ol>
<li>全結合層</li>
<li>マルチヘッドクロスアテンション</li>
<li>Q-Former</li>
</ol>
</li>
<li>Whisper large-v2 + Q-Former + Vicuna 13BでWhisper large-v2よりもWERが向上</li>
<li>ASRモデルの入力可能系列を超えても処理ができるSegment-level Q-Formerを提案
<ul>
<li>長い音声に対してもASRが可能に．ただし，長すぎる音声はLLMのhallucinationが悪化する課題あり</li>
</ul>
</li>
</ul>
<h2>実験</h2>
<h3>結合方法の比較</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/p3kesn55.png" alt=""></p>
<p>（多分FCのパラメータ数はどっちかがミス？）</p>
<p>全結合層かQ-Formerを用いるとトークンが多い方がWERは良い</p>
<p>マルチヘッドアテンション（CA）は，パラメータ数が多すぎるし，しかも性能も悪い</p>
<p>→ <strong>モデル検証には，Q-Formerが採用</strong></p>
<h3>Q-Formerの学習するクエリ数の調査</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/fdfvl51a.png" alt=""></p>
<p>30s以内の音声に対しては，80まではWERが改善し続けている</p>
<h3>LLMとASRモデルのエンコーダのサイズの調査</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/lo6a096t.png" alt=""></p>
<p>Whisper large-v2を使うと，LLMは7bでも良い性能が出ている</p>
<p>→ LLMのサイズより，speech encoderの性能の方が重要そう</p>
<h3>4000h大規模訓練データで学習後の性能評価</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/smbe1p7e.png" alt=""></p>
<p>学習時はLibriSpeech, Common Voice, GigaSpeechで学習しているため，これらはin-domainで，CallHome, Swichboardがout-of-domain</p>
<p>in-domainでも，ベースラインのWhisper large-v2より性能が高くなっている</p>
<p>out-of-domainだと，最大で12％のWERの改善が見られている</p>
<h3>Segment-level Q-Formerの性能評価</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/b7s5s5ua.png" alt=""></p>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/e5h86q3t.png" alt=""></p>
<p>30sより長い音声で推論する時，ファインチューニングしていないと性能が悪い</p>
<p>長い音声でファインチューニングすると，全結合層かQ-Formerを用いると，長い音声でも良い性能を示せている</p>
<p>ただし，120sまで極端に長くなると，性能が悪くなる</p>
<p>長時間の音声に対しては，デコードがうまくいくとWERは良いが（Fig. 3.），出力が繰り返されたり，長いチャンクが欠落するケースが多く観測される</p>
<h2>その他</h2>
<h3>学習方法</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/uzgui2mw.png" alt=""></p>
<p>音声のない部分をマスクしてゼロパディングすると，Q-Formerが音声の終わりの方を無視するように学習してしまう問題が起きる</p>
<p>→ ランダムで音声を結合することで，deletion error rateとWERを改善できたため，論文中の学習はrandom audio concatenationのストラテジーで学習している</p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@misc{yu2023connecting,
title={Connecting Speech Encoder and Large Language Model for ASR},
author={Wenyi Yu and Changli Tang and Guangzhi Sun and Xianzhao Chen and Tian Tan and Wei Li and Lu Lu and Zejun Ma and Chao Zhang},
year={2023},
eprint={2309.13963},
archivePrefix={arXiv},
primaryClass={<a href="http://eess.as/">eess.AS</a>}
}</p>
</blockquote>

Disfluency Generation for More Robust Dialogue Systemsのまとめ

【論文まとめ】Disfluency Generation for More Robust Dialogue Systems

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Disfluency Generation for More Robust Dialogue Systems</p>
<p>研究会: ACL</p>
<p>年度: 2023</p>
<p>キーワード: Speech Disfluency, DST, NLG</p>
<p>URL: <a href="https://aclanthology.org/2023.findings-acl.728/">https://aclanthology.org/2023.findings-acl.728/</a></p>
<p>DOI: <a href="http://dx.doi.org/10.18653/v1/2023.findings-acl.728">http://dx.doi.org/10.18653/v1/2023.findings-acl.728</a></p>
<p>コード: <a href="https://github.com/4i-ai/BERT_disfluency_cls">https://github.com/4i-ai/BERT_disfluency_cls</a></p>
<p>データセット: DailyDialog, MultiWOZ, SIMMC2, Fisher</p>
<h2>概要</h2>
<p>非流暢な発話は対話システムの全てのモジュールに影響するエラー連鎖の原因になりうる（NLU, DST, NLG）</p>
<p>一般的に使われている対話データセットに非流暢な発話がほとんど含まれていないことを分析し（表3），流暢な発話を非流暢な発話にパラフレージングするaugmentation手法を提案</p>
<p>提案した手法でaugmentationした非流暢な発話を学習に用いることで，DSTとNLGの両方において性能が改善することを示す．</p>
<p>以下が非流暢性のタイプと非流暢性による対話システムのエラーの例</p>
<p><img src="/images/article/Disfluency-Generation-for-More-Robust-Dialogue-Systems/csx3ec6k.png" alt=""></p>
<p><img src="/images/article/Disfluency-Generation-for-More-Robust-Dialogue-Systems/6tbusut8.png" alt=""></p>
<p>非流暢性の割合を分析した結果</p>
<p><img src="/images/article/Disfluency-Generation-for-More-Robust-Dialogue-Systems/kv3gxn5n.png" alt=""></p>
<h2>提案手法</h2>
<p><strong>分類器によって流暢だと判定された発話を非流暢な発話にパラフレージング</strong></p>
<h3>Disfluent Paraphraser</h3>
<p><strong>LLM (T5) を用いて非流暢性の生成</strong>（非流暢性の修正をLLMで行う先行研究あり）</p>
<p>（BART, OPT, BLOOM等を使えば，同様の結果もしくはより良い性能が出るかも？）</p>
<p>LLMに非流暢性のseq2seqな生成タスクを学習させるために，非流暢な発話とそれに対応する流暢な発話のペアが必要</p>
<p>→ <strong>大規模な学習データが存在しないため，few-shot learningを適用</strong></p>
<p>ビームサーチで生成すると，元の流暢な発話の構造を保つ保守的なパラフレーズが多い</p>
<p>→ 元の発話とオーバーラップが少ない多様な発話を生成したい</p>
<p>→ <span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: -0.566ex;" xmlns="http://www.w3.org/2000/svg" width="19.282ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 8522.7 1000" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-1-TEX-I-1D6FD" d="M29 -194Q23 -188 23 -186Q23 -183 102 134T186 465Q208 533 243 584T309 658Q365 705 429 705H431Q493 705 533 667T573 570Q573 465 469 396L482 383Q533 332 533 252Q533 139 448 65T257 -10Q227 -10 203 -2T165 17T143 40T131 59T126 65L62 -188Q60 -194 42 -194H29ZM353 431Q392 431 427 419L432 422Q436 426 439 429T449 439T461 453T472 471T484 495T493 524T501 560Q503 569 503 593Q503 611 502 616Q487 667 426 667Q384 667 347 643T286 582T247 514T224 455Q219 439 186 308T152 168Q151 163 151 147Q151 99 173 68Q204 26 260 26Q302 26 349 51T425 137Q441 171 449 214T457 279Q457 337 422 372Q380 358 347 358H337Q258 358 258 389Q258 396 261 403Q275 431 353 431Z"></path><path id="MJX-1-TEX-N-3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z"></path><path id="MJX-1-TEX-N-30" d="M96 585Q152 666 249 666Q297 666 345 640T423 548Q460 465 460 320Q460 165 417 83Q397 41 362 16T301 -15T250 -22Q224 -22 198 -16T137 16T82 83Q39 165 39 320Q39 494 96 585ZM321 597Q291 629 250 629Q208 629 178 597Q153 571 145 525T137 333Q137 175 145 125T181 46Q209 16 250 16Q290 16 318 46Q347 76 354 130T362 333Q362 478 354 524T321 597Z"></path><path id="MJX-1-TEX-N-2E" d="M78 60Q78 84 95 102T138 120Q162 120 180 104T199 61Q199 36 182 18T139 0T96 17T78 60Z"></path><path id="MJX-1-TEX-N-32" d="M109 429Q82 429 66 447T50 491Q50 562 103 614T235 666Q326 666 387 610T449 465Q449 422 429 383T381 315T301 241Q265 210 201 149L142 93L218 92Q375 92 385 97Q392 99 409 186V189H449V186Q448 183 436 95T421 3V0H50V19V31Q50 38 56 46T86 81Q115 113 136 137Q145 147 170 174T204 211T233 244T261 278T284 308T305 340T320 369T333 401T340 431T343 464Q343 527 309 573T212 619Q179 619 154 602T119 569T109 550Q109 549 114 549Q132 549 151 535T170 489Q170 464 154 447T109 429Z"></path><path id="MJX-1-TEX-N-28" d="M94 250Q94 319 104 381T127 488T164 576T202 643T244 695T277 729T302 750H315H319Q333 750 333 741Q333 738 316 720T275 667T226 581T184 443T167 250T184 58T225 -81T274 -167T316 -220T333 -241Q333 -250 318 -250H315H302L274 -226Q180 -141 137 -14T94 250Z"></path><path id="MJX-1-TEX-N-2264" d="M674 636Q682 636 688 630T694 615T687 601Q686 600 417 472L151 346L399 228Q687 92 691 87Q694 81 694 76Q694 58 676 56H670L382 192Q92 329 90 331Q83 336 83 348Q84 359 96 365Q104 369 382 500T665 634Q669 636 674 636ZM84 -118Q84 -108 99 -98H678Q694 -104 694 -118Q694 -130 679 -138H98Q84 -131 84 -118Z"></path><path id="MJX-1-TEX-N-31" d="M213 578L200 573Q186 568 160 563T102 556H83V602H102Q149 604 189 617T245 641T273 663Q275 666 285 666Q294 666 302 660V361L303 61Q310 54 315 52T339 48T401 46H427V0H416Q395 3 257 3Q121 3 100 0H88V46H114Q136 46 152 46T177 47T193 50T201 52T207 57T213 61V578Z"></path><path id="MJX-1-TEX-N-29" d="M60 749L64 750Q69 750 74 750H86L114 726Q208 641 251 514T294 250Q294 182 284 119T261 12T224 -76T186 -143T145 -194T113 -227T90 -246Q87 -249 86 -250H74Q66 -250 63 -250T58 -247T55 -238Q56 -237 66 -225Q221 -64 221 250T66 725Q56 737 55 738Q55 746 60 749Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="1D6FD" xlink:href="#MJX-1-TEX-I-1D6FD"></use></g><g data-mml-node="mo" transform="translate(843.8,0)"><use data-c="3D" xlink:href="#MJX-1-TEX-N-3D"></use></g><g data-mml-node="mn" transform="translate(1899.6,0)"><use data-c="30" xlink:href="#MJX-1-TEX-N-30"></use><use data-c="2E" xlink:href="#MJX-1-TEX-N-2E" transform="translate(500,0)"></use><use data-c="32" xlink:href="#MJX-1-TEX-N-32" transform="translate(778,0)"></use></g><g data-mml-node="mstyle" transform="translate(3177.6,0)"><g data-mml-node="mspace"></g></g><g data-mml-node="mstyle" transform="translate(3344.6,0)"><g data-mml-node="mspace"></g></g><g data-mml-node="mo" transform="translate(3511.6,0)"><use data-c="28" xlink:href="#MJX-1-TEX-N-28"></use></g><g data-mml-node="mn" transform="translate(3900.6,0)"><use data-c="30" xlink:href="#MJX-1-TEX-N-30"></use></g><g data-mml-node="mo" transform="translate(4678.3,0)"><use data-c="2264" xlink:href="#MJX-1-TEX-N-2264"></use></g><g data-mml-node="mi" transform="translate(5734.1,0)"><use data-c="1D6FD" xlink:href="#MJX-1-TEX-I-1D6FD"></use></g><g data-mml-node="mo" transform="translate(6577.9,0)"><use data-c="2264" xlink:href="#MJX-1-TEX-N-2264"></use></g><g data-mml-node="mn" transform="translate(7633.7,0)"><use data-c="31" xlink:href="#MJX-1-TEX-N-31"></use></g><g data-mml-node="mo" transform="translate(8133.7,0)"><use data-c="29" xlink:href="#MJX-1-TEX-N-29"></use></g></g></g></svg></mjx-container></span>でtop-pサンプリングすると有用な非流暢な発話が得られた</p>
<h3>Disfluent Identification</h3>
<p>Paraphraserが積極的に非流暢な変換を行いすぎると，元の発話と意味が変わってしまう</p>
<p>分類器を用いて，元の発話をどの程度パラフレージングするかを決める</p>
<ul>
<li>disfluentなら，praphraserを用いない</li>
<li>低い確率でdisfluentなら，少し修正してdisfluentに</li>
<li>fulentならaggressiveにdisfluentに</li>
</ul>
<p>分類器にはBERTを用いる（先行研究 by Yang et al., 2020に従う）</p>
<h2>新規性</h2>
<ul>
<li>公開されている一般的な対話コーパスには非流暢な発話があまり含まれておらず，対話システムのロバスト性に影響していることを分析</li>
<li>LLMを用いて，流暢な発話を非流暢な発話へパラフレージングするフレームワークを提案</li>
<li>提案手法により，対話システムのロバスト性を向上</li>
</ul>
<h2>実験</h2>
<p><img src="/images/article/Disfluency-Generation-for-More-Robust-Dialogue-Systems/b9oc2ma7.png" alt=""></p>
<p>Paraphraserと分類器の学習にはFisher Englishコーパスを使用</p>
<p>SIMMC2でDSTとNLGを評価</p>
<p><img src="/images/article/Disfluency-Generation-for-More-Robust-Dialogue-Systems/u9vz9p6p.png" alt=""></p>
<p>Original：オリジナルのSIMMC2で10エポック学習されたGPT2</p>
<p>General Paraphraser：非流暢性の生成で学習されていないスタンダードなT5 paraphraser</p>
<p>流暢性と非流暢性を混ぜても性能が向上するのは提案手法（Disfluent Paraphraser）のみ（表でいう(c)のスコア）</p>
<p>また，少なくとも500件は学習データがないと，提案手法ではBLEURTとjoint accuracyが下がる</p>
<h2>まとめ</h2>
<p>LLM (T5) を用いた非流暢な発話へのパラフレージングによるaugmentationデータを混ぜることで，対話モデルをよりうまく学習させることができ，非流暢な発話にロバストになることを確認</p>
<p>DST及びNLGでの性能向上を確認</p>
<h2>その他（なぜ通ったか？等）</h2>
<h3>Limitations</h3>
<ul>
<li>利用可能な公開データセットはほとんどが流暢な発話でアノテーションされており，多様な非流暢性を含むもっと代表的な評価データセットを構築すべき</li>
</ul>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@inproceedings{marie-2023-disfluency,
title = "Disfluency Generation for More Robust Dialogue Systems",
author = "Marie, Benjamin",
booktitle = "Findings of the Association for Computational Linguistics: ACL 2023",
month = jul,
year = "2023",
address = "Toronto, Canada",
publisher = "Association for Computational Linguistics",
url = "<a href="https://aclanthology.org/2023.findings-acl.728">https://aclanthology.org/2023.findings-acl.728</a>",
doi = "10.18653/v1/2023.findings-acl.728",
pages = "11479--11488",
abstract = "Disfluencies in user utterances can trigger a chain of errors impacting all the modules of a dialogue system: natural language understanding, dialogue state tracking, and response generation. In this work, we first analyze existing dialogue datasets commonly used in research and show that they only contain a marginal number of disfluent utterances. Due to this relative absence of disfluencies in their training data, dialogue systems may then critically fail when exposed to disfluent utterances. Following this observation, we propose to augment existing datasets with disfluent user utterances by paraphrasing fluent utterances into disfluent ones. Relying on a pre-trained language model, our few-shot disfluent paraphraser guided by a disfluency classifier can generate useful disfluent utterances for training better dialogue systems. We report on improvements for both dialogue state tracking and response generation when the dialogue systems are trained on datasets augmented with our disfluent utterances.",
}</p>
</blockquote><style>
mjx-container[jax="SVG"] {
  direction: ltr;
}

mjx-container[jax="SVG"] > svg {
  overflow: visible;
  min-height: 1px;
  min-width: 1px;
}

mjx-container[jax="SVG"] > svg a {
  fill: blue;
  stroke: blue;
}

mjx-container[jax="SVG"][display="true"] {
  display: block;
  text-align: center;
  margin: 1em 0;
}

mjx-container[jax="SVG"][display="true"][width="full"] {
  display: flex;
}

mjx-container[jax="SVG"][justify="left"] {
  text-align: left;
}

mjx-container[jax="SVG"][justify="right"] {
  text-align: right;
}

g[data-mml-node="merror"] > g {
  fill: red;
  stroke: red;
}

g[data-mml-node="merror"] > rect[data-background] {
  fill: yellow;
  stroke: none;
}

g[data-mml-node="mtable"] > line[data-line], svg[data-table] > g > line[data-line] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
  stroke-dasharray: 140;
}

g[data-mml-node="mtable"] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
  stroke-linecap: round;
  stroke-dasharray: 0,140;
}

g[data-mml-node="mtable"] > g > svg {
  overflow: visible;
}

[jax="SVG"] mjx-tool {
  display: inline-block;
  position: relative;
  width: 0;
  height: 0;
}

[jax="SVG"] mjx-tool > mjx-tip {
  position: absolute;
  top: 0;
  left: 0;
}

mjx-tool > mjx-tip {
  display: inline-block;
  padding: .2em;
  border: 1px solid #888;
  font-size: 70%;
  background-color: #F8F8F8;
  color: black;
  box-shadow: 2px 2px 5px #AAAAAA;
}

g[data-mml-node="maction"][data-toggle] {
  cursor: pointer;
}

mjx-status {
  display: block;
  position: fixed;
  left: 1em;
  bottom: 1em;
  min-width: 25%;
  padding: .2em .4em;
  border: 1px solid #888;
  font-size: 90%;
  background-color: #F8F8F8;
  color: black;
}

foreignObject[data-mjx-xml] {
  font-family: initial;
  line-height: normal;
  overflow: visible;
}

mjx-container[jax="SVG"] path[data-c], mjx-container[jax="SVG"] use[data-c] {
  stroke-width: 3;
}
</style>

I Learned Error, I Can Fix It! : A Detector-Corrector Structure for ASR Error Calibrationのまとめ

【論文まとめ】I Learned Error, I Can Fix It! : A Detector-Corrector Structure for ASR Error Calibration

Editing Models with Task Arithmeticのまとめ

【論文まとめ】Editing Models with Task Arithmetic

CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generationのまとめ

【論文まとめ】CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generation

対話システムはどのように話すべきかのまとめ

【論文まとめ】対話システムはどのように話すべきか

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: 対話システムはどのように話すべきか</p>
<p>研究会: 日本音響学会誌</p>
<p>年度: 2022</p>
<p>キーワード: 聞き手反応, dialogue system</p>
<p>URL: <a href="https://www.jstage.jst.go.jp/article/jasj/78/5/78_283/_pdf">https://www.jstage.jst.go.jp/article/jasj/78/5/78_283/_pdf</a></p>
<p>DOI: <a href="https://doi.org/10.20697/jasj.78.5_283">https://doi.org/10.20697/jasj.78.5_283</a></p>
<p>データセット:</p>
<h2>概要</h2>
<p>「<strong>聞き手反応</strong>」をキーワードに，対話システムが発する音声をどのように生成するべきかという観点から音声対話システムとの自然な対話の実現に迫った研究の紹介．</p>
<h2>聞き手反応</h2>
<p>会話は話し手と聞き手の相互行為により産出されるもの</p>
<p>聞き手の反応を「相槌表現」として次の分類（Den et al., 2011）</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/8io2tuxq.png" alt=""></p>
<p><strong>聞き手の行動の観察は分析上不可欠</strong>であるが，音声対話システム研究ではほとんど考慮されない</p>
<p><strong>人はシステムに対して，（人同士の対話と異なり）ほとんど聞き手反応をしない</strong></p>
<p>人は，どのようにして声でシステムを操作するかを学ぶ</p>
<p>→ 機械は機械であり，人と同じようにコミュニケーションができないことを知っている</p>
<h2>聞き手反応を誘発する話し方</h2>
<p>音声対話システム vs 人における違い</p>
<ul>
<li>発話タイミングを含むターンテイキング</li>
<li><strong>話し方</strong>
<ul>
<li><strong>人同士の対話における発話は，必ずしも明瞭かつ流暢ではない．</strong></li>
</ul>
</li>
</ul>
<p>高津ら（2018）の研究では，人同士の対話にのみ存在する話し方の特徴を要因に分解し，次のコードで表す．</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/bjl0al4r.png" alt=""></p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/omr9dl0c.png" alt=""></p>
<p>そして，以下の3条件でWoZ対話的なことを行う</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/fhyb4a69.png" alt=""></p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/4plgxweb.png" alt=""></p>
<p>発話計画例と実験の結果は次のとおり</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/0k7tzm7m.png" alt=""></p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/vryomqfg.png" alt=""></p>
<p><strong>機械的な発話をすると，聞き手反応が減る</strong></p>
<h2>自発音声コーパスを元にした音声で話すエージェント（飯塚ら, 2019）</h2>
<p>読み上げ音声コーパスではなく，自然な会話コーパスを用いて音声合成を訓練することで，読み上げと会話の音声のギャップを埋めうる</p>
<p><ins>しかし，そのような試みは少ない</ins></p>
<p>以下が考えうる要因</p>
<ol>
<li>声のプロと違い，普通の人々の音声は正確性，明瞭性に欠けるから，音声合成に相応しくないという思い込み</li>
<li>会話音声の多様性．テキストだけでは説明できない音声のパラ言語的な特徴の変動が読み上げ音声に比べて大きく，モデル化が相対的に困難なこと</li>
<li><strong>会話コーパスの小ささ．音声合成ではデータりょうが品質に直結するが，会話コーパスの場合，話者一人当たりのデータ量が少なく，音声のモデル化が困難なこと</strong>
<ol>
<li>筆者ら研究チームでは，とりわけこれがネックだった</li>
<li>→ ニューラルボコーダ（高木, 2019）の登場によりインパクトに</li>
</ol>
</li>
</ol>
<p>実験として，<ins>読み上げ独話音声コーパスJSUT vs 自発対話音声コーパスUUDB（宇都宮大学パラ言語情報研究向け音声対話データベース）</ins></p>
<p>音声合成にはTacotron 2，スペクトルからの波形生成にはMelGAN</p>
<p>UUDBでは女性話者1名のデータでfine-tuning</p>
<p>MMDAgentを利用して音声対話システムを構築（研究仮説を検証するため）</p>
<p><ins>国当てクイズの対話シナリオ</ins></p>
<p>実験結果とその対話動画視聴から得たアンケート結果</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/9m8j5vxi.png" alt=""></p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/qfx0mds4.png" alt=""></p>
<p><strong>自然な会話コーパス（ここではUUDB）を元にした合成音声で話すシステムとの対話の方が，人同士の対話に近い振る舞いをしている．</strong></p>
<p><ins>感情表出系感動詞及び笑いの数に有意な差は認められず</ins></p>
<p>「不気味の谷」？？？</p>
<h2>まとめ</h2>
<p>自然な音声対話の実現を望むならば，もっと本物の音声コミュニケーションと真剣に向き合わなければならないのではないか？</p>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@article{2022,
author = {森 大毅},
doi = {10.20697/jasj.78.5_283},
journal = {日本音響学会誌},
number = {5},
pages = {283-288},
title = {対話システムはどのように話すべきか},
volume = {78},
year = {2022},
bdsk-url-1 = {<a href="https://doi.org/10.20697/jasj.78.5_283">https://doi.org/10.20697/jasj.78.5_283</a>}}</p>
</blockquote>

Recent Neural Methods on Dialogue State Tracking for Task-Oriented Dialogue Systems: A Surveyのまとめ

【論文まとめ】Recent Neural Methods on Dialogue State Tracking for Task-Oriented Dialogue Systems: A Survey

Recent Advances in Deep Learning Based Dialogue Systems: A Systematic Surveyのまとめ

【論文まとめ】Recent Advances in Deep Learning Based Dialogue Systems: A Systematic Survey

A survey on empathetic dialogue systemsのまとめ

【論文まとめ】A survey on empathetic dialogue systems

遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析のまとめ

【論文まとめ】遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: 遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-2.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-2.pdf</a></p>
<p>データセット:</p>
<h2>概要</h2>
<p>対話を通じてユーザに行動変容を促す説得対話システムの研究を行うため，マルチモーダル情報を含む説得対話コーパスの収録</p>
<p>音声と顔画像から得られる特徴量を含む説得対話コーパス</p>
<p>収集したコーパスと合わせて前後にアンケート</p>
<p>被験者に対して追跡調査を行い，実際に説得により行動が変容したかも調査</p>
<h2>提案手法</h2>
<p>5〜8分の対話を収録</p>
<p>3つのドメインについて収集：「運動の促し」「インターネット依存の改善」「慈善事業団体への募金の促し」</p>
<p>Woz対話であることを伏せて，ERICAで開発された新しいシステムと対話をしてもらうという目的と被験者に伝えた</p>
<p>効果的な説得対話の戦略（論文参照）に基づいてERICAが発話</p>
<p>また以下の流れで対話</p>
<ol>
<li>お互いに挨拶</li>
<li>会話テーマの提示（ドメイン）</li>
<li>会話テーマに対する被験者の意識を尋ねる</li>
<li>相手の反応に応じて説得</li>
<li>5分経過後，流れに応じて対話終了</li>
</ol>
<h2>新規性</h2>
<p>説得対話における非言語情報の活用を指向し，遠隔操作Androidを用いたWoz対話によるcleanマルチモーダル説得対話コーパスの収集</p>
<p>先行研究では主に対話中の説得にフォーカスしているが，本論文では追跡調査による実際の行動変容を調査</p>
<h2>実験</h2>
<p><strong>収録環境</strong></p>
<p>説得マイクでステレオ録音／Webカメラで正面から顔を撮影→OpenFaceでAction Unitを抽出／音声は書き起こし→訓練されたアノテーたによって拡張ISO-24617-2対話行為タグに基づく対話行為タグ付与を</p>
<p><strong>事前アンケート</strong></p>
<p>性格，意思決定の傾向，説得対象ドメインへの意識，現在の状況など</p>
<p><strong>事後アンケート</strong></p>
<p>年齢，性別，学歴，パートナーの有無，政治的見解など</p>
<p>ERICAへの印象，対話を通じての意識の変化なども用意</p>
<p><strong>追跡調査</strong></p>
<p>説得に対して合意した被験者に対して，1週間後にその合意を履行したか追跡調査</p>
<h2>まとめ</h2>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/h2xv1id7.png" alt=""></p>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/6nfsjg5n.png" alt=""></p>
<p>実際の行動の変容や意識の変容に関わらず，多くの人が対話中に説得へ合意</p>
<p>→実際に説得が効果的であったかを対話上の振る舞いから判定することは困難</p>
<p>意識変容から行動変容に映るにはハードルがある</p>
<p><strong>ロジスティック回帰による説得に有効な要素の分析</strong></p>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/hp4pnema.png" alt=""></p>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/kzssp4zq.png" alt=""></p>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/bopuu7bx.png" alt=""></p>
<h2>その他（なぜ通ったか？等）</h2>
<p>倫理審査が必要らしい</p>
<p>顔とか映すデータを撮る場合は倫理審査のため，被験者に合意を得る必要がありそう</p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

知識源との一対多関係を有する対話コーパスによる発話生成のまとめ

【論文まとめ】知識源との一対多関係を有する対話コーパスによる発話生成

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: 知識源との一対多関係を有する対話コーパスによる発話生成</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, knowledge-base</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-3.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-3.pdf</a></p>
<p>データセット:</p>
<h2>概要</h2>
<p>ある文脈において利用可能な知識は一意とは限らず，実際に利用された知識意外にも利用可能な知識は存在する可能性がある</p>
<p>→　旅行代理店における対話を題材として，基準対話データセットを作成（知識が一意）</p>
<p>→　基準対話データセットを元にマルチラベル対話データセットを作成（知識が複数対応）</p>
<p>マルチラベル対話データセットを発話生成モデルの生成に用いると，多様で適切な応答が可能になることが示唆</p>
<h2>提案手法</h2>
<p><img src="/images/article/%E7%9F%A5%E8%AD%98%E6%BA%90%E3%81%A8%E3%81%AE%E4%B8%80%E5%AF%BE%E5%A4%9A%E9%96%A2%E4%BF%82%E3%82%92%E6%9C%89%E3%81%99%E3%82%8B%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AB%E3%82%88%E3%82%8B%E7%99%BA%E8%A9%B1%E7%94%9F%E6%88%90/4tpxgaoh.png" alt=""></p>
<p><img src="/images/article/%E7%9F%A5%E8%AD%98%E6%BA%90%E3%81%A8%E3%81%AE%E4%B8%80%E5%AF%BE%E5%A4%9A%E9%96%A2%E4%BF%82%E3%82%92%E6%9C%89%E3%81%99%E3%82%8B%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AB%E3%82%88%E3%82%8B%E7%99%BA%E8%A9%B1%E7%94%9F%E6%88%90/6h5aq4kv.png" alt=""></p>
<p><strong>基準対話データセットの構築</strong></p>
<p>クラウドソーシングを利用して，東京と大阪の観光地441件を対象に，観光地に関する対話おw収集</p>
<p>知識情報として，基礎情報はじゃらんからスクレイピング，レビュー情報にはGoogle Map APIを用いて取得</p>
<p>店発話は，知識情報をなるべく用いて発話し，使用できる知識情報源は最大で2つとした</p>
<p>相槌など知識情報を使用しない発話にはnoneのラベルを付与</p>
<p><strong>マルチラベルデータセットの構築</strong></p>
<p>利用していない知識は，「利用できない知識」ではなく「利用していない知識」</p>
<p>→　基準対話データセットから400件を抽出し，対象の発話において利用可能な知識をアノテーション</p>
<p>基準対話データセットの分布とマルチラベル対話データセットの分布を比較すると，多くの知識源が利用可能であるとわかる</p>
<h2>新規性</h2>
<p>一つの発話に対して複数の知識を対応させたマルチラベル対話データセットを作成</p>
<h2>実験</h2>
<p>Laboro製BERTを用いて利用可能な知識情報を選択</p>
<p>→　TransformerベースのNTT製大規模対話モデルhobbyistを用いて，知識情報を用いた応答生成</p>
<h2>まとめ</h2>
<p><img src="/images/article/%E7%9F%A5%E8%AD%98%E6%BA%90%E3%81%A8%E3%81%AE%E4%B8%80%E5%AF%BE%E5%A4%9A%E9%96%A2%E4%BF%82%E3%82%92%E6%9C%89%E3%81%99%E3%82%8B%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AB%E3%82%88%E3%82%8B%E7%99%BA%E8%A9%B1%E7%94%9F%E6%88%90/yy6uxb1q.png" alt=""></p>
<p>BERTを用いた知識選択</p>
<p>シングルtestが0.46，マルチtestが0.90</p>
<p>適切な知識が選択できていれば正解なので，マルチが高くなるのはそれはそう</p>
<p>マルチラベル対話データセットを使用した応答生成は，全て文脈として正しく，知識を反映した多様かつ適切な生成ができていた</p>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

分類モデルBERTによる不整合生成文の検出についてのまとめ

【論文まとめ】分類モデルBERTによる不整合生成文の検出について

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: 分類モデルBERTによる不整合生成文の検出について</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, NLI</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-4.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-4.pdf</a></p>
<p>データセット: 日本語SNLI</p>
<h2>概要</h2>
<p>ニューラル文章生成において，文章としては自然だが，内容が事実とは異なる**事実不整合（factual inconsistency）**が問題</p>
<p>→　BERTを用いて分類タスクをすることで生成文の事実不整合の検出を試みる</p>
<p>疑似データセットを作成し学習することで，不整合検出におけるドメイン適応の重要性を明らかにした</p>
<h2>提案手法</h2>
<p><img src="/images/article/%E5%88%86%E9%A1%9E%E3%83%A2%E3%83%87%E3%83%ABBERT%E3%81%AB%E3%82%88%E3%82%8B%E4%B8%8D%E6%95%B4%E5%90%88%E7%94%9F%E6%88%90%E6%96%87%E3%81%AE%E6%A4%9C%E5%87%BA%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/l81q3d7a.png" alt=""></p>
<p><img src="/images/article/%E5%88%86%E9%A1%9E%E3%83%A2%E3%83%87%E3%83%ABBERT%E3%81%AB%E3%82%88%E3%82%8B%E4%B8%8D%E6%95%B4%E5%90%88%E7%94%9F%E6%88%90%E6%96%87%E3%81%AE%E6%A4%9C%E5%87%BA%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/gnt0fefy.png" alt=""></p>
<p>特に数値データに対してロバストなモデルになるよう学習するため，知識に数値が含まれる「料金情報」「アクセス情報」「営業時間情報」の3カテゴリに絞って学習に用いる</p>
<p>疑似例の作成は数値や日付，駅名等を書き換えることで対応</p>
<p>料金，アクセス，営業時間情報で書き以下絵対象がお’異なるため，それぞれ小cleanなる改変方法でデータを書き換え</p>
<h2>新規性</h2>
<p>旅行ドメインに対して疑似データセットを作成し，それを用いて学習することで，SNLIデータセットを用いた学習に比べて，事実不整合の生成文の検出精度を向上</p>
<h2>実験</h2>
<p>データセット</p>
<p>事実整合性判定学習データセット</p>
<p>料金，アクセス，営業時間情報について作成した疑似生後売れ，不整合例を集めたデータセット</p>
<p>ニューラル生成文データセット</p>
<p>NTT製TransformerのHobbyistを用いて生成した文章を含むデータセット</p>
<p>Laboro社製BERTをファインチューニング</p>
<p>ベースラインデータセットとして，日本語SNLIデータセット</p>
<p>recallが最良のエポックの重みを最良モデルとして評価</p>
<p>recallが低いモデルは大量の不整合を見逃していることになるため，目的を果たしていないと考えたから</p>
<h2>まとめ</h2>
<p>提案手法（疑似例を用いたデータセット）は事実不整合検出に有効である</p>
<p>正解できなかった不整合例の内訳</p>
<p>料金7件／アクセス1件／営業時間16件</p>
<p>→　テンプレートの拡充が必要か？</p>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

Transformerによるhallucination errorの事後修正のまとめ

【論文まとめ】Transformerによるhallucination errorの事後修正

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Transformerによるhallucination errorの事後修正</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-5.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-5.pdf</a></p>
<p>データセット:</p>
<h2>概要</h2>
<p>文生成時に与えた外部知識と異なる内容の発話文を生成してしまうhallucination errorが課題</p>
<p>→　hallucination errorを含むデータを疑似的に作成し，BARTやTransformerを用いて事後修正を試みる</p>
<p>1.6BのTransformerでは52件中29件の事後修正をした</p>
<h2>提案手法</h2>
<p><img src="/images/article/Transformer%E3%81%AB%E3%82%88%E3%82%8Bhallucination-error%E3%81%AE%E4%BA%8B%E5%BE%8C%E4%BF%AE%E6%AD%A3/seiwj31o.png" alt=""></p>
<p>一つの発話文と知識源のペアをテンプレートとして複数のデータを疑似的に作成することで，各知識とカテゴリごとに40000件の発話ぶんと知識源のペアを作成</p>
<p>→　「営業時間」「アクセス」「料金」に関するエンティティを書き換えることで疑似的なhallcination errorを含んだ文を作成</p>
<p>ニューラル生成モデルは事実と無関係な文章を生成する場合がある</p>
<p>→　エンティティの書き換えだけではなく，無関係な発話を含んだデータも作成</p>
<h2>新規性</h2>
<p>hallucination errorを含むデータを疑似的に作成することで，ニューラルモデルによる事後修正の試み</p>
<h2>実験</h2>
<p>NTT製japanese-dialog-transormers（1.6B）</p>
<p>黒橋研製日本語BART（0.12B）</p>
<p>hallucination error修正学習データセットには，無関係な発話を含む（add_unrelated）とそれを含まない（baseline）データセットを二種類用意</p>
<p>※知識源とHEを[SEP]でつなげるが，普通はBARTは対応していないのでfairseq上ではFusion-in-DecoderをBARTに実装する必要があるらしい</p>
<p>評価指標</p>
<p>Faithfulness／BLEU-4 score</p>
<h2>まとめ</h2>
<p><img src="/images/article/Transformer%E3%81%AB%E3%82%88%E3%82%8Bhallucination-error%E3%81%AE%E4%BA%8B%E5%BE%8C%E4%BF%AE%E6%AD%A3/kl305xy2.png" alt=""></p>
<p><img src="/images/article/Transformer%E3%81%AB%E3%82%88%E3%82%8Bhallucination-error%E3%81%AE%E4%BA%8B%E5%BE%8C%E4%BF%AE%E6%AD%A3/76t0zx7b.png" alt=""></p>
<p>BLEU-4は「数値が異なる」みたいな単純なhallucination errorは正しく評価できていないのでは？</p>
<p>BARTとTransformerの大きな精度差はおそらくパラメータ数と事前学習時のデータセットの差なのでは？</p>
<p><img src="/images/article/Transformer%E3%81%AB%E3%82%88%E3%82%8Bhallucination-error%E3%81%AE%E4%BA%8B%E5%BE%8C%E4%BF%AE%E6%AD%A3/p9noavar.png" alt=""></p>
<p>知識源に出現するエンティティの順序とモデルの主直に出現するエンティティの順序が同じ</p>
<p>→　エンティティが出現する順序に注目して書き換えを行っている可能性</p>
<p>正しくエンティティの関係を理解できていない？</p>
<p>add_relatedでは発話ぶんにある一文を削除する傾向が見られた</p>
<h2>その他（なぜ通ったか？等）</h2>
<p>今後の展望</p>
<p>HE修正学習データセットの基となるデータの収集</p>
<p>書き換えルールなど作成方法の拡張の必要性</p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

Prompt-Tuning による個性を持った対話システムの構築のまとめ

【論文まとめ】Prompt-Tuning による個性を持った対話システムの構築

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Prompt-Tuning による個性を持った対話システムの構築</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, persona, Prompt-Tuning</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-1.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-1.pdf</a></p>
<p>データセット: PERSONA-CHAT, DailyDialog</p>
<h2>概要</h2>
<p>与えられたキャラクター設定（ペルソナ）を考慮した応答生成をする雑談対話システムの構築</p>
<p>一貫した発話をしない対話システムは魅力的ではない</p>
<p>→　一貫性を持たせるためペルソナに着目</p>
<p>Prompt-Tuningを行うことで，Fine-Tuningに比べて学習時間と計算資源を削減しつつ，より自然で個性を持ったシステムの構築</p>
<h2>提案手法</h2>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/gur4p6lh.png" alt=""></p>
<p>ペルソナ情報を埋め込むトークン（Persona Info Token）用のEmbedding層を追加したTransformerモデルを提案</p>
<p>この新たに追加したEmbedding層のパラメータを更新する</p>
<h2>新規性</h2>
<p>事前学習済みモデルのパラメータを更新しないPrompt-Tuningによって学習</p>
<p>→　学習に要する時間と計算資源の削減が可能</p>
<p>数百個の対話ペアからなる小規模なデータセットであっても，個性を持ったシステムの構築が可能</p>
<h2>実験</h2>
<p>データセット：Persona-Chat／DailyDialog</p>
<p>1往復の2初話ずつに分割→これを対話ペア</p>
<p>使用するペルソナ：Persona-chatにおける対話ペア数の多い上位3種類のペルソナのみ</p>
<p>ペルソナとは無関係な対話ペアとしてDailyDialogを使用</p>
<p>→　TopicがRelationshipの対話ペアを使用</p>
<p>中でも発話と応答の両方の長さが50文字以下の対話ペアを一定の比率で学習用データセットに混ぜる</p>
<p>→　なぜ？：短い発話やペルソナと無関係な一般的な発話おデータセットに取り込む</p>
<p>ペルソナ文を与える際，長さ&#x3C;200の時は，200になるまでペルソナぶんを繰り返し並べる</p>
<p>生成の戦略にはGreedy searchを採用</p>
<h2>まとめ</h2>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/4nnv2ixn.png" alt=""></p>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/eoo61yjd.png" alt=""></p>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/tebl4dqq.png" alt=""></p>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/wqq0hd5g.png" alt=""></p>
<p>自動評価時：distinct-{1, 2}</p>
<p>GPT-J-6BをPrompt-Tuningしたモデルが最も多様性のある生成</p>
<p>Fine-Tuningの時は入力にペルソナを孵化しない方が良い性能</p>
<p>人手評価時</p>
<p>全ての項目においてGPT-J-6BをPrompt-Tuningしたモデルの評価が高い</p>
<h2>その他（なぜ通ったか？等）</h2>
<p>LINEとの共同研究</p>
<p>AI-Bridging cloudを用いてA100（40GB）を使用した実験</p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

Prediction of Shared Laughter for Human-Robot Dialogueのまとめ

【論文まとめ】Prediction of Shared Laughter for Human-Robot Dialogue

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Prediction of Shared Laughter for Human-Robot Dialogue</p>
<p>研究会: ICMI</p>
<p>年度: 2020</p>
<p>キーワード: laughter, shared laughter</p>
<p>URL: <a href="http://sap.ist.i.kyoto-u.ac.jp/lab/bib/intl/LAL-ICMI20.pdf">http://sap.ist.i.kyoto-u.ac.jp/lab/bib/intl/LAL-ICMI20.pdf</a></p>
<p>DOI: <a href="https://doi.org/10.1145/3395035.3425265">https://doi.org/10.1145/3395035.3425265</a></p>
<p>データセット:</p>
<h2>提案手法</h2>
<p>会話ロボットがshared laughterを自動生成することを目的にする</p>
<h3>Shared Laughter Model</h3>
<p><img src="/images/article/Prediction-of-Shared-Laughter-for-Human-Robot-Dialogue/ktkpx7fr.png" alt=""></p>
<p>ユーザの最初の笑いを検知して，システムが笑うモデル</p>
<p>3種類のモジュールが存在する</p>
<ol>
<li>ユーザの最初の笑いを検出</li>
<li>shared laughterを生成するかどうかを決定</li>
<li>どのタイプの笑いをするべきか決定</li>
</ol>
<h3>Data Collection and Analysis</h3>
<p>収集方法：ERICA</p>
<p>teleoperateしたのは女性</p>
<p>対象：61人の男性</p>
<p>シナリオ：speed dating</p>
<p>好きな趣味，好きなこと，嫌いなことに関してカジュアルなチャット</p>
<p>アノテーション：</p>
<p>2種類のタイプに笑いを分けた</p>
<ol>
<li>isolated laugh
1. 笑い単体で起こる笑い</li>
<li>speech laugh
1. 話しながら起こる笑い
<img src="/images/article/Prediction-of-Shared-Laughter-for-Human-Robot-Dialogue/ztqx5kie.png" alt=""></li>
</ol>
<p><img src="/images/article/Prediction-of-Shared-Laughter-for-Human-Robot-Dialogue/pncunm6h.png" alt=""></p>
<p>集まったデータの中で，1206件のinitial laughが確認</p>
<p>698件がself laughで508件がshared laugh</p>
<h3>Model Creation</h3>
<p>特徴量2種類：</p>
<p><strong>Audio-based features</strong></p>
<p>40のacoustic メルフィルタバンクの平均と標準偏差</p>
<p><strong>Prosodic features</strong></p>
<p>全IPUにまたがるピッチとパワーの値を使った合計で14つの以下の指標</p>
<p>平均／中央値／標準偏差／最大値／最小値／範囲</p>
<p><strong>モデル</strong>：</p>
<p>LR／SVM</p>
<p>データサンプルが小さかったからか，deep learningの手法は弱かった</p>
<h2>新規性</h2>
<p>ユーザに合わせて毎回笑いを生成するのではなく，適切なタイミングでshared laughterを自動生成することをロボットに持たせたいという目的をもった研究</p>
<h2>評価方法</h2>
<p><img src="/images/article/Prediction-of-Shared-Laughter-for-Human-Robot-Dialogue/1mjd5yfi.png" alt=""></p>
<p>オフラインとオンラインの二つのタイプで評価</p>
<p><img src="/images/article/Prediction-of-Shared-Laughter-for-Human-Robot-Dialogue/my7ehxxr.png" alt=""></p>
<p><img src="/images/article/Prediction-of-Shared-Laughter-for-Human-Robot-Dialogue/5m9f1ed7.png" alt=""></p>
<p>特徴量としてlaughter typeを加えることでrecallが改善する傾向</p>
<p>負に歪んだピッチの分布の時は笑いがシェアされがちで笑いが長く続きがち</p>
<p>laughter detectionとlaugh type classificationのエラーによってパフォーマンスが落ちることは明らかだが，それでもベースラインをoutperform</p>
<p>最もよかったonline modelはacousticとprosodicの特徴量を両方使ったもの</p>
<h2>何がすごかった？</h2>
<p>prosodicの分析からわかったことが，initial laughのacousiticsはresponse laughを呼び起こすいくつかの特徴があること</p>
<p>まだ改善の余地はあるものの，acousticとprosodicの特徴量の両方を使うことはパフォーマンスの改善に役立った</p>
<p>shared laughterのタイミングについてはかけた研究である</p>
<p>今後の課題である</p>
<h2>次に読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p><em>@inproceedings{10.1145/3395035.3425265,
author = {Lala, Divesh and Inoue, Koji and Kawahara, Tatsuya},
title = {Prediction of Shared Laughter for Human-Robot Dialogue},
year = {2020},
isbn = {9781450380027},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {<a href="https://doi.org/10.1145/3395035.3425265%7D">https://doi.org/10.1145/3395035.3425265}</a>,
doi = {10.1145/3395035.3425265},
abstract = {Shared laughter is a phenomenon in face-to-face human dialogue which increases engagement and rapport, and so should be considered for conversation robots and agents. Our aim is to create a model of shared laughter generation for conversational robots. As part of this system, we train models which predict if shared laughter will occur, given that the user has laughed. Models trained using combinations of acoustic, prosodic features and laughter type were compared with online versions considered to better quantify their performance in a real system. We find that these models perform better than the random chance, with the multimodal combination of acoustic and prosodic features performing the best.},
booktitle = {Companion Publication of the 2020 International Conference on Multimodal Interaction},
pages = {62–66},
numpages = {5},
keywords = {shared laughter, machine learning, human-robot dialogue, conversation},
location = {Virtual Event, Netherlands},
series = {ICMI '20 Companion}
}</em></p>
</blockquote>

Multimodal Humor Dataset: Predicting Laughter tracks for Sitcomsのまとめ

【論文まとめ】Multimodal Humor Dataset: Predicting Laughter tracks for Sitcoms

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Multimodal Humor Dataset: Predicting Laughter tracks for Sitcoms</p>
<p>研究会: WACV</p>
<p>年度: 2021</p>
<p>キーワード: humor detection, multi-modal</p>
<p>URL: <a href="https://openaccess.thecvf.com/content/WACV2021/papers/Patro_Multimodal_Humor_Dataset_Predicting_Laughter_Tracks_for_Sitcoms_WACV_2021_paper.pdf">https://openaccess.thecvf.com/content/WACV2021/papers/Patro_Multimodal_Humor_Dataset_Predicting_Laughter_Tracks_for_Sitcoms_WACV_2021_paper.pdf</a></p>
<p>DOI: <a href="http://dx.doi.org/10.1109/WACV48630.2021.00062">http://dx.doi.org/10.1109/WACV48630.2021.00062</a></p>
<p>データセット: MHD (Multimodal Humor Dataset)</p>
<h2>概要</h2>
<p>マルチモダールなユーモアデータセット(<strong>MHD; Multimodal Humor Dataset</strong>)（The Big Bang Theoryを使用）を構築</p>
<p>海外のSitcoms (Situation comedies) では笑い声がドラマ内に含まれている</p>
<p>→ sitcomsは定期的に作成されていて，この笑い声を自動で追加するタスクがクリティカルなタスク</p>
<p>→ <strong>笑い声の自動挿入のタスクを自動化することが狙い</strong></p>
<p>構築されたデータセットを用いて，マルチモーダルを利用したAttentionベースのモデルを構</p>
<p>→SoTA &#x26; データセット分析</p>
<h2>提案手法</h2>
<p><img src="/images/article/Multimodal-Humor-Dataset-Predicting-Laughter-tracks-for-Sitcoms/w0i199qh.png" alt=""></p>
<p><img src="/images/article/Multimodal-Humor-Dataset-Predicting-Laughter-tracks-for-Sitcoms/ak7naea6.png" alt=""></p>
<p><img src="/images/article/Multimodal-Humor-Dataset-Predicting-Laughter-tracks-for-Sitcoms/sl4l2p5h.png" alt=""></p>
<h3>データセットのこと</h3>
<p>対話のチャンクに対してlaughter tracksを使用してラベルを付与</p>
<p>笑い声をアノテーションすることがは間接的に人手でのアノテーションと同じになるという過程</p>
<p>→ 笑い声の起こる直前の発話の集合をユーモアとしてラベル付け</p>
<p>Attributes</p>
<ol>
<li>Scene</li>
<li>Speaker</li>
<li>Recipients</li>
<li>Participants</li>
<li>Dialogue Turns</li>
<li>Dialogue Start/End time</li>
<li>Humor Start/End time
対話のチャンクに複数のlaughter tracksがある場合，最後のみ適用</li>
</ol>
<p>データ分析の結果はFig 3.を参照のこと</p>
<h3>モデルのこと</h3>
<p><img src="/images/article/Multimodal-Humor-Dataset-Predicting-Laughter-tracks-for-Sitcoms/ve5n04t6.png" alt=""></p>
<h2>新規性</h2>
<ul>
<li>手動でアノテーションされたマルチモーダルな大規模ユーモアデータセットを構築</li>
<li>これまでのSoTA手法を実験しつつ，multimodal self attention based modelを提案</li>
<li>提案手法の汎化性能を検証</li>
</ul>
<h2>実験</h2>
<p>5 turns / dialogueとする</p>
<p>humor : non-humor = 1 : 2としてサンプリング</p>
<p>humorのラベルが85%と高く，かなり不均衡のため</p>
<p>実験モデル</p>
<p>{Attention, Fusion, Sequential} with {only Text, only Video, both of them}</p>
<p>評価指標：</p>
<p>Accuracy, ROC, F1</p>
<h2>まとめ</h2>
<p><img src="/images/article/Multimodal-Humor-Dataset-Predicting-Laughter-tracks-for-Sitcoms/nlp8wlr7.png" alt=""></p>
<p><img src="/images/article/Multimodal-Humor-Dataset-Predicting-Laughter-tracks-for-Sitcoms/flj6yume.png" alt=""></p>
<p><img src="/images/article/Multimodal-Humor-Dataset-Predicting-Laughter-tracks-for-Sitcoms/rizjcdv5.png" alt=""></p>
<p>提案手法のMSAMが強い</p>
<p>表情や動作のようなvisual特徴量がユーモアの合図になっていることがある</p>
<p>→ visual特徴量を使うことが有効である</p>
<p>@Table 6.より，dialogueのターン数を長くするとよりcontextualにできるが，長くしすぎても精度が落ちている</p>
<p>→ dialogue 5, 6がピークになっている→ ゆえにturn数を5として本研究は進められている</p>
<h3>Discussion</h3>
<ul>
<li>良いモデルはテキストと視覚的な特徴量の重みづけの仕方を正しく考慮しなければならない</li>
<li>失敗例への対策
<ul>
<li>よりlong tailなユーモアにロバストにならなければいけない
<ul>
<li>例）Sheldonは滅多にブランケットを羽織らない→羽織った時面白くなる</li>
</ul>
</li>
<li>知識ベースの弱さへの改善
<ul>
<li>sitcomsは皮肉での笑いが多い（知識がないと伝わらないことがある</li>
</ul>
</li>
</ul>
</li>
</ul>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@INPROCEEDINGS{9423266, author={Patro, Badri N. and Lunayach, Mayank and Srivastava, Deepankar and Sarvesh, Sarvesh and Singh, Hunar and Namboodiri, Vinay P.}, booktitle={2021 IEEE Winter Conference on Applications of Computer Vision (WACV)}, title={Multimodal Humor Dataset: Predicting Laughter tracks for Sitcoms}, year={2021}, volume={}, number={}, pages={576-585}, doi={10.1109/WACV48630.2021.00062}}</p>
</blockquote>

Multi-Hop Transformer for Document-Level Machine Translationのまとめ

【論文まとめ】Multi-Hop Transformer for Document-Level Machine Translation

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Multi-Hop Transformer for Document-Level Machine Translation</p>
<p>研究会: NAACL</p>
<p>年度: 2021</p>
<p>キーワード: MT, transformer, Multi-Hop Transformer</p>
<p>URL: <a href="https://aclanthology.org/2021.naacl-main.309.pdf">https://aclanthology.org/2021.naacl-main.309.pdf</a></p>
<p>DOI: <a href="http://dx.doi.org/10.18653/v1/2021.naacl-main.309">http://dx.doi.org/10.18653/v1/2021.naacl-main.309</a></p>
<p>データセット: TED Talk, OpenSubtitles, Europarl7</p>
<h2>概要</h2>
<p>Document-level neural machine translationにおいて，Multi-Hopなアーキテクチャを導入することにより，従来手法と比べて精度の高い文脈を考慮した機械翻訳を実現</p>
<p>翻訳者のように，頭の中に翻訳のドラフトを作り，文脈に合わせて適切に修正する流れ（human-like draft-editing）を明示的にモデリング</p>
<p>大きな事前学習済みモデルを使うことなく，使用に足る機械翻訳モデルを実現</p>
<h2>提案手法</h2>
<p><img src="/images/article/Multi-Hop-Transformer-for-Document-Level-Machine-Translation/p7s4t8vi.png" alt=""></p>
<p>アーキテクチャ周りのこと</p>
<h3>Sentence Encoder</h3>
<p>source-sideとtarget-sideでそれぞれPretrained Encoderがあり，source contextとtarget draftの分散表現をそれぞれ得る</p>
<h3>Multi-Hop Encoder</h3>
<p>source-contextにおいて文章ごとのreasoningをして，現在の文章の分散表現を得る</p>
<h3>Multi-Hop Decoder</h3>
<p>target-side draftから情報を取得して，翻訳の確率分布を得る</p>
<p>そのほかアーキテクチャの工夫</p>
<h3>Contet Gating</h3>
<p>contextual informationを過剰にutilizeしすぎないように，context gating machanismを採用</p>
<p>contextと現在の文章間の重みを動的にコントロールする</p>
<p><span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: -0.796ex;" xmlns="http://www.w3.org/2000/svg" width="25.003ex" height="3.196ex" role="img" focusable="false" viewBox="0 -1060.7 11051.5 1412.5" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-1-TEX-I-1D6FC" d="M34 156Q34 270 120 356T309 442Q379 442 421 402T478 304Q484 275 485 237V208Q534 282 560 374Q564 388 566 390T582 393Q603 393 603 385Q603 376 594 346T558 261T497 161L486 147L487 123Q489 67 495 47T514 26Q528 28 540 37T557 60Q559 67 562 68T577 70Q597 70 597 62Q597 56 591 43Q579 19 556 5T512 -10H505Q438 -10 414 62L411 69L400 61Q390 53 370 41T325 18T267 -2T203 -11Q124 -11 79 39T34 156ZM208 26Q257 26 306 47T379 90L403 112Q401 255 396 290Q382 405 304 405Q235 405 183 332Q156 292 139 224T121 120Q121 71 146 49T208 26Z"></path><path id="MJX-1-TEX-N-3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z"></path><path id="MJX-1-TEX-I-1D70E" d="M184 -11Q116 -11 74 34T31 147Q31 247 104 333T274 430Q275 431 414 431H552Q553 430 555 429T559 427T562 425T565 422T567 420T569 416T570 412T571 407T572 401Q572 357 507 357Q500 357 490 357T476 358H416L421 348Q439 310 439 263Q439 153 359 71T184 -11ZM361 278Q361 358 276 358Q152 358 115 184Q114 180 114 178Q106 141 106 117Q106 67 131 47T188 26Q242 26 287 73Q316 103 334 153T356 233T361 278Z"></path><path id="MJX-1-TEX-N-28" d="M94 250Q94 319 104 381T127 488T164 576T202 643T244 695T277 729T302 750H315H319Q333 750 333 741Q333 738 316 720T275 667T226 581T184 443T167 250T184 58T225 -81T274 -167T316 -220T333 -241Q333 -250 318 -250H315H302L274 -226Q180 -141 137 -14T94 250Z"></path><path id="MJX-1-TEX-I-1D44A" d="M436 683Q450 683 486 682T553 680Q604 680 638 681T677 682Q695 682 695 674Q695 670 692 659Q687 641 683 639T661 637Q636 636 621 632T600 624T597 615Q597 603 613 377T629 138L631 141Q633 144 637 151T649 170T666 200T690 241T720 295T759 362Q863 546 877 572T892 604Q892 619 873 628T831 637Q817 637 817 647Q817 650 819 660Q823 676 825 679T839 682Q842 682 856 682T895 682T949 681Q1015 681 1034 683Q1048 683 1048 672Q1048 666 1045 655T1038 640T1028 637Q1006 637 988 631T958 617T939 600T927 584L923 578L754 282Q586 -14 585 -15Q579 -22 561 -22Q546 -22 542 -17Q539 -14 523 229T506 480L494 462Q472 425 366 239Q222 -13 220 -15T215 -19Q210 -22 197 -22Q178 -22 176 -15Q176 -12 154 304T131 622Q129 631 121 633T82 637H58Q51 644 51 648Q52 671 64 683H76Q118 680 176 680Q301 680 313 683H323Q329 677 329 674T327 656Q322 641 318 637H297Q236 634 232 620Q262 160 266 136L501 550L499 587Q496 629 489 632Q483 636 447 637Q428 637 422 639T416 648Q416 650 418 660Q419 664 420 669T421 676T424 680T428 682T436 683Z"></path><path id="MJX-1-TEX-I-1D44E" d="M33 157Q33 258 109 349T280 441Q331 441 370 392Q386 422 416 422Q429 422 439 414T449 394Q449 381 412 234T374 68Q374 43 381 35T402 26Q411 27 422 35Q443 55 463 131Q469 151 473 152Q475 153 483 153H487Q506 153 506 144Q506 138 501 117T481 63T449 13Q436 0 417 -8Q409 -10 393 -10Q359 -10 336 5T306 36L300 51Q299 52 296 50Q294 48 292 46Q233 -10 172 -10Q117 -10 75 30T33 157ZM351 328Q351 334 346 350T323 385T277 405Q242 405 210 374T160 293Q131 214 119 129Q119 126 119 118T118 106Q118 61 136 44T179 26Q217 26 254 59T298 110Q300 114 325 217T351 328Z"></path><path id="MJX-1-TEX-I-1D434" d="M208 74Q208 50 254 46Q272 46 272 35Q272 34 270 22Q267 8 264 4T251 0Q249 0 239 0T205 1T141 2Q70 2 50 0H42Q35 7 35 11Q37 38 48 46H62Q132 49 164 96Q170 102 345 401T523 704Q530 716 547 716H555H572Q578 707 578 706L606 383Q634 60 636 57Q641 46 701 46Q726 46 726 36Q726 34 723 22Q720 7 718 4T704 0Q701 0 690 0T651 1T578 2Q484 2 455 0H443Q437 6 437 9T439 27Q443 40 445 43L449 46H469Q523 49 533 63L521 213H283L249 155Q208 86 208 74ZM516 260Q516 271 504 416T490 562L463 519Q447 492 400 412L310 260L413 259Q516 259 516 260Z"></path><path id="MJX-1-TEX-I-1D45B" d="M21 287Q22 293 24 303T36 341T56 388T89 425T135 442Q171 442 195 424T225 390T231 369Q231 367 232 367L243 378Q304 442 382 442Q436 442 469 415T503 336T465 179T427 52Q427 26 444 26Q450 26 453 27Q482 32 505 65T540 145Q542 153 560 153Q580 153 580 145Q580 144 576 130Q568 101 554 73T508 17T439 -10Q392 -10 371 17T350 73Q350 92 386 193T423 345Q423 404 379 404H374Q288 404 229 303L222 291L189 157Q156 26 151 16Q138 -11 108 -11Q95 -11 87 -5T76 7T74 17Q74 30 112 180T152 343Q153 348 153 366Q153 405 129 405Q91 405 66 305Q60 285 60 284Q58 278 41 278H27Q21 284 21 287Z"></path><path id="MJX-1-TEX-N-29" d="M60 749L64 750Q69 750 74 750H86L114 726Q208 641 251 514T294 250Q294 182 284 119T261 12T224 -76T186 -143T145 -194T113 -227T90 -246Q87 -249 86 -250H74Q66 -250 63 -250T58 -247T55 -238Q56 -237 66 -225Q221 -64 221 250T66 725Q56 737 55 738Q55 746 60 749Z"></path><path id="MJX-1-TEX-I-1D460" d="M131 289Q131 321 147 354T203 415T300 442Q362 442 390 415T419 355Q419 323 402 308T364 292Q351 292 340 300T328 326Q328 342 337 354T354 372T367 378Q368 378 368 379Q368 382 361 388T336 399T297 405Q249 405 227 379T204 326Q204 301 223 291T278 274T330 259Q396 230 396 163Q396 135 385 107T352 51T289 7T195 -10Q118 -10 86 19T53 87Q53 126 74 143T118 160Q133 160 146 151T160 120Q160 94 142 76T111 58Q109 57 108 57T107 55Q108 52 115 47T146 34T201 27Q237 27 263 38T301 66T318 97T323 122Q323 150 302 164T254 181T195 196T148 231Q131 256 131 289Z"></path><path id="MJX-1-TEX-N-2B" d="M56 237T56 250T70 270H369V420L370 570Q380 583 389 583Q402 583 409 568V270H707Q722 262 722 250T707 230H409V-68Q401 -82 391 -82H389H387Q375 -82 369 -68V230H70Q56 237 56 250Z"></path><path id="MJX-1-TEX-I-1D44F" d="M73 647Q73 657 77 670T89 683Q90 683 161 688T234 694Q246 694 246 685T212 542Q204 508 195 472T180 418L176 399Q176 396 182 402Q231 442 283 442Q345 442 383 396T422 280Q422 169 343 79T173 -11Q123 -11 82 27T40 150V159Q40 180 48 217T97 414Q147 611 147 623T109 637Q104 637 101 637H96Q86 637 83 637T76 640T73 647ZM336 325V331Q336 405 275 405Q258 405 240 397T207 376T181 352T163 330L157 322L136 236Q114 150 114 114Q114 66 138 42Q154 26 178 26Q211 26 245 58Q270 81 285 114T318 219Q336 291 336 325Z"></path><path id="MJX-1-TEX-I-1D435" d="M231 637Q204 637 199 638T194 649Q194 676 205 682Q206 683 335 683Q594 683 608 681Q671 671 713 636T756 544Q756 480 698 429T565 360L555 357Q619 348 660 311T702 219Q702 146 630 78T453 1Q446 0 242 0Q42 0 39 2Q35 5 35 10Q35 17 37 24Q42 43 47 45Q51 46 62 46H68Q95 46 128 49Q142 52 147 61Q150 65 219 339T288 628Q288 635 231 637ZM649 544Q649 574 634 600T585 634Q578 636 493 637Q473 637 451 637T416 636H403Q388 635 384 626Q382 622 352 506Q352 503 351 500L320 374H401Q482 374 494 376Q554 386 601 434T649 544ZM595 229Q595 273 572 302T512 336Q506 337 429 337Q311 337 310 336Q310 334 293 263T258 122L240 52Q240 48 252 48T333 46Q422 46 429 47Q491 54 543 105T595 229Z"></path><path id="MJX-1-TEX-N-2212" d="M84 237T84 250T98 270H679Q694 262 694 250T679 230H98Q84 237 84 250Z"></path><path id="MJX-1-TEX-I-1D456" d="M184 600Q184 624 203 642T247 661Q265 661 277 649T290 619Q290 596 270 577T226 557Q211 557 198 567T184 600ZM21 287Q21 295 30 318T54 369T98 420T158 442Q197 442 223 419T250 357Q250 340 236 301T196 196T154 83Q149 61 149 51Q149 26 166 26Q175 26 185 29T208 43T235 78T260 137Q263 149 265 151T282 153Q302 153 302 143Q302 135 293 112T268 61T223 11T161 -11Q129 -11 102 10T74 74Q74 91 79 106T122 220Q160 321 166 341T173 380Q173 404 156 404H154Q124 404 99 371T61 287Q60 286 59 284T58 281T56 279T53 278T49 278T41 278H27Q21 284 21 287Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="1D6FC" xlink:href="#MJX-1-TEX-I-1D6FC"></use></g><g data-mml-node="mo" transform="translate(917.8,0)"><use data-c="3D" xlink:href="#MJX-1-TEX-N-3D"></use></g><g data-mml-node="mi" transform="translate(1973.6,0)"><use data-c="1D70E" xlink:href="#MJX-1-TEX-I-1D70E"></use></g><g data-mml-node="mo" transform="translate(2544.6,0)"><use data-c="28" xlink:href="#MJX-1-TEX-N-28"></use></g><g data-mml-node="msub" transform="translate(2933.6,0)"><g data-mml-node="mi"><use data-c="1D44A" xlink:href="#MJX-1-TEX-I-1D44A"></use></g><g data-mml-node="mi" transform="translate(977,-150) scale(0.707)"><use data-c="1D44E" xlink:href="#MJX-1-TEX-I-1D44E"></use></g></g><g data-mml-node="msubsup" transform="translate(4334.6,0)"><g data-mml-node="mi"><use data-c="1D434" xlink:href="#MJX-1-TEX-I-1D434"></use></g><g data-mml-node="TeXAtom" transform="translate(783,530.4) scale(0.707)" data-mjx-texclass="ORD"><g data-mml-node="mo"><use data-c="28" xlink:href="#MJX-1-TEX-N-28"></use></g><g data-mml-node="mi" transform="translate(389,0)"><use data-c="1D45B" xlink:href="#MJX-1-TEX-I-1D45B"></use></g><g data-mml-node="mo" transform="translate(989,0)"><use data-c="29" xlink:href="#MJX-1-TEX-N-29"></use></g></g><g data-mml-node="mi" transform="translate(783,-138.9) scale(0.707)"><use data-c="1D460" xlink:href="#MJX-1-TEX-I-1D460"></use></g></g><g data-mml-node="mo" transform="translate(6364.2,0)"><use data-c="2B" xlink:href="#MJX-1-TEX-N-2B"></use></g><g data-mml-node="msub" transform="translate(7364.5,0)"><g data-mml-node="mi"><use data-c="1D44A" xlink:href="#MJX-1-TEX-I-1D44A"></use></g><g data-mml-node="mi" transform="translate(977,-150) scale(0.707)"><use data-c="1D44F" xlink:href="#MJX-1-TEX-I-1D44F"></use></g></g><g data-mml-node="msubsup" transform="translate(8694.8,0)"><g data-mml-node="mi"><use data-c="1D435" xlink:href="#MJX-1-TEX-I-1D435"></use></g><g data-mml-node="TeXAtom" transform="translate(792,530.4) scale(0.707)" data-mjx-texclass="ORD"><g data-mml-node="mo"><use data-c="28" xlink:href="#MJX-1-TEX-N-28"></use></g><g data-mml-node="mi" transform="translate(389,0)"><use data-c="1D45B" xlink:href="#MJX-1-TEX-I-1D45B"></use></g><g data-mml-node="mo" transform="translate(989,0)"><use data-c="29" xlink:href="#MJX-1-TEX-N-29"></use></g></g><g data-mml-node="TeXAtom" transform="translate(792,-293.8) scale(0.707)" data-mjx-texclass="ORD"><g data-mml-node="mi"><use data-c="1D460" xlink:href="#MJX-1-TEX-I-1D460"></use></g><g data-mml-node="mo" transform="translate(469,0)"><use data-c="2212" xlink:href="#MJX-1-TEX-N-2212"></use></g><g data-mml-node="mi" transform="translate(1247,0)"><use data-c="1D456" xlink:href="#MJX-1-TEX-I-1D456"></use></g></g></g><g data-mml-node="mo" transform="translate(10662.5,0)"><use data-c="29" xlink:href="#MJX-1-TEX-N-29"></use></g></g></g></svg></mjx-container></span> where sigma is logistic sigmoid function</p>
<h2>新規性</h2>
<p>Docment-level NMTにおける従来手法の問題点</p>
<ol>
<li>文章間のreasoningの特徴づけを明示的に行うことなく，単純にcontextの分散表現を導入</li>
<li>推論時にはアクセスできないのに，訓練時には追加入力としてのtarget contextにground-truthなデータを入力
↑　訓練時と推論時において状況が異なる</li>
</ol>
<p>Document-level NMTにおいてMulti-Hop reasoningをモデリングしたMulti-Hop Transformerの提案と提案モデルによるDocument-level NMTの大きな性能改善</p>
<p>target contextにground-truthで訓練すると推論時にはアクセスできないため，他の翻訳モデルの翻訳結果を使用することで，訓練時と推論時の状況を同じにした</p>
<h2>実験</h2>
<p>Baseline</p>
<p>Transformer</p>
<p>CA-Transformer</p>
<p>CA-HAN</p>
<p>CADec</p>
<p>計算量のオーバーヘッドを改善するためSentence Encoderはそれぞれのsideでパラメータを共有</p>
<h2>まとめ</h2>
<p><img src="/images/article/Multi-Hop-Transformer-for-Document-Level-Machine-Translation/am19iape.png" alt=""></p>
<p>large-scaleな事前学習済み言語モデルを使用することなく，SoTA翻訳クオリティを達成</p>
<p><img src="/images/article/Multi-Hop-Transformer-for-Document-Level-Machine-Translation/z4jm21k3.png" alt=""></p>
<p>contextを付与するためのAttentionの構造は，ConcatやHierarchicalよりもMulti-HopなAttentionが効果があり</p>
<p><img src="/images/article/Multi-Hop-Transformer-for-Document-Level-Machine-Translation/tito19hb.png" alt=""></p>
<p>contextを考慮する幅のwindow sizeは大きくするほど効果が上がるわけではなく．3が最も良かった</p>
<p>4以上にすると悪化傾向らしく，本研究ではwindow size = 3 を採用</p>
<p><img src="/images/article/Multi-Hop-Transformer-for-Document-Level-Machine-Translation/pc76zuqn.png" alt=""></p>
<p>contextにおいてreasoningするときの方向は，一般的な読み順の通りleft-to-rightで順方向にreasoningさせた方が結果は良かった</p>
<p><img src="/images/article/Multi-Hop-Transformer-for-Document-Level-Machine-Translation/bx5z85gj.png" alt=""></p>
<p>訓練時と推論時にtarget draftに与える文章が異なる問題への対処に関する実験結果</p>
<p>Referenceはground-truthをtarget draftとして与えて訓練，Draftはpre-trained MT systemが生成した翻訳結果をtarget draftとして与えて訓練したモデル</p>
<p>Draftの方が結果がよく，pre-trained MT systemの生成結果をtarget draftとする方法によって訓練時と推論時のギャップの橋渡しになることを示唆する結果</p>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<p><a href="/5955ca444629476ebf23e66629a2413f">Context-Aware Self-Attention Networks</a></p>
<h2>引用</h2>
<blockquote>
<p>@inproceedings{zhang-etal-2021-multi,
title = "Multi-Hop Transformer for Document-Level Machine Translation",
author = "Zhang, Long and
Zhang, Tong and
Zhang, Haibo and
Yang, Baosong and
Ye, Wei and
Zhang, Shikun",
booktitle = "Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies",
month = jun,
year = "2021",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "<a href="https://aclanthology.org/2021.naacl-main.309">https://aclanthology.org/2021.naacl-main.309</a>",
doi = "10.18653/v1/2021.naacl-main.309",
pages = "3953--3963",
abstract = "Document-level neural machine translation (NMT) has proven to be of profound value for its effectiveness on capturing contextual information. Nevertheless, existing approaches 1) simply introduce the representations of context sentences without explicitly characterizing the inter-sentence reasoning process; and 2) feed ground-truth target contexts as extra inputs at the training time, thus facing the problem of exposure bias. We approach these problems with an inspiration from human behavior {--} human translators ordinarily emerge a translation draft in their mind and progressively revise it according to the reasoning in discourse. To this end, we propose a novel Multi-Hop Transformer (MHT) which offers NMT abilities to explicitly model the human-like draft-editing and reasoning process. Specifically, our model serves the sentence-level translation as a draft and properly refines its representations by attending to multiple antecedent sentences iteratively. Experiments on four widely used document translation tasks demonstrate that our method can significantly improve document-level translation performance and can tackle discourse phenomena, such as coreference error and the problem of polysemy.",
}</p>
</blockquote><style>
mjx-container[jax="SVG"] {
  direction: ltr;
}

mjx-container[jax="SVG"] > svg {
  overflow: visible;
  min-height: 1px;
  min-width: 1px;
}

mjx-container[jax="SVG"] > svg a {
  fill: blue;
  stroke: blue;
}

mjx-container[jax="SVG"][display="true"] {
  display: block;
  text-align: center;
  margin: 1em 0;
}

mjx-container[jax="SVG"][display="true"][width="full"] {
  display: flex;
}

mjx-container[jax="SVG"][justify="left"] {
  text-align: left;
}

mjx-container[jax="SVG"][justify="right"] {
  text-align: right;
}

g[data-mml-node="merror"] > g {
  fill: red;
  stroke: red;
}

g[data-mml-node="merror"] > rect[data-background] {
  fill: yellow;
  stroke: none;
}

g[data-mml-node="mtable"] > line[data-line], svg[data-table] > g > line[data-line] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
  stroke-dasharray: 140;
}

g[data-mml-node="mtable"] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
  stroke-linecap: round;
  stroke-dasharray: 0,140;
}

g[data-mml-node="mtable"] > g > svg {
  overflow: visible;
}

[jax="SVG"] mjx-tool {
  display: inline-block;
  position: relative;
  width: 0;
  height: 0;
}

[jax="SVG"] mjx-tool > mjx-tip {
  position: absolute;
  top: 0;
  left: 0;
}

mjx-tool > mjx-tip {
  display: inline-block;
  padding: .2em;
  border: 1px solid #888;
  font-size: 70%;
  background-color: #F8F8F8;
  color: black;
  box-shadow: 2px 2px 5px #AAAAAA;
}

g[data-mml-node="maction"][data-toggle] {
  cursor: pointer;
}

mjx-status {
  display: block;
  position: fixed;
  left: 1em;
  bottom: 1em;
  min-width: 25%;
  padding: .2em .4em;
  border: 1px solid #888;
  font-size: 90%;
  background-color: #F8F8F8;
  color: black;
}

foreignObject[data-mjx-xml] {
  font-family: initial;
  line-height: normal;
  overflow: visible;
}

mjx-container[jax="SVG"] path[data-c], mjx-container[jax="SVG"] use[data-c] {
  stroke-width: 3;
}
</style>

Internet-Augmented Dialogue Generationのまとめ

【論文まとめ】Internet-Augmented Dialogue Generation

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Internet-Augmented Dialogue Generation</p>
<p>研究会: ACL</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, Internet-Augmented</p>
<p>URL: <a href="https://aclanthology.org/2022.acl-long.579.pdf">https://aclanthology.org/2022.acl-long.579.pdf</a></p>
<p>DOI: <a href="http://dx.doi.org/10.18653/v1/2022.acl-long.579">http://dx.doi.org/10.18653/v1/2022.acl-long.579</a></p>
<p>データセット: Topical-Chat, Wizard of Wikipedia</p>
<h2>概要</h2>
<p>検索クエリを生成し，Bing検索の結果をもとに応答生成を行うことで，大規模言語モデルの抱えるhallucinationの問題を軽減しつつ，up-to-the-minute relavent informationを導入した生成を可能にする．</p>
<p>インターネットによるaugmentationを行わないモデルやFAISSベースのモデルよりも，search-queryのモデルは優れた会話能力を達成した．</p>
<h2>提案手法</h2>
<p>提案手法 (Search Engine-Augmented Generation) の流れ</p>
<ol>
<li>コンテクストから検索クエリを生成</li>
<li><span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: 0;" xmlns="http://www.w3.org/2000/svg" width="2.009ex" height="1.545ex" role="img" focusable="false" viewBox="0 -683 888 683" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-1-TEX-I-1D441" d="M234 637Q231 637 226 637Q201 637 196 638T191 649Q191 676 202 682Q204 683 299 683Q376 683 387 683T401 677Q612 181 616 168L670 381Q723 592 723 606Q723 633 659 637Q635 637 635 648Q635 650 637 660Q641 676 643 679T653 683Q656 683 684 682T767 680Q817 680 843 681T873 682Q888 682 888 672Q888 650 880 642Q878 637 858 637Q787 633 769 597L620 7Q618 0 599 0Q585 0 582 2Q579 5 453 305L326 604L261 344Q196 88 196 79Q201 46 268 46H278Q284 41 284 38T282 19Q278 6 272 0H259Q228 2 151 2Q123 2 100 2T63 2T46 1Q31 1 31 10Q31 14 34 26T39 40Q41 46 62 46Q130 49 150 85Q154 91 221 362L289 634Q287 635 234 637Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="1D441" xlink:href="#MJX-1-TEX-I-1D441"></use></g></g></g></svg></mjx-container></span>個のドキュメントを取得</li>
<li>FiD (Fusion in Decoder)モデルによって，個々のドキュメントをエンコードし，対話コンテクストと結合して，応答を生成</li>
</ol>
<p>インターネットへのアクセスの手法</p>
<ol>
<li><strong>FAISS: distributed approximate nearest-neighbor databaseにストアすることでページをキャッシュ</strong>
<ol>
<li>これがベースライン的な手法</li>
<li>Common CrawlのデータをFAISSストアして検索をかける</li>
<li>ベースライン手法
<ol>
<li>RAG (Retrieval Augmented Generation)</li>
<li>FiD (Fusion in Decoder)</li>
<li>FiD-RAG</li>
<li>FAISS + Search Query-based Retrieval</li>
</ol>
</li>
</ol>
</li>
<li><strong>インターネットに直接アクセスしてページを取得</strong>
<ol>
<li>FAISS-basedの手法の課題を解決するため
<ol>
<li>リアルタイムなウェブ情報に更新するのが難しい</li>
<li>ローカルのFAISSにストアできるウェブページの数には限界がある</li>
<li>インターネット検索エンジンがチューニングしているハイクオリティなページのランキングの利点を活かせない</li>
</ol>
</li>
</ol>
</li>
</ol>
<h2>新規性</h2>
<ul>
<li>インターネットにアクセスすることで，常に数え切れないほどの最新の情報にアクセスし，それを取り入れた応答生成を可能にする</li>
<li>knowledge regulationなどを行うことで，dynamic state of the worldに対応する
<ul>
<li>大規模言語モデルは，知識をweightsの中で記憶してしまうため，hallucinationが起きやすい→これを正則化によってよりうまく情報をcopyするように学習させる</li>
</ul>
</li>
<li>長い目で見れば機械学習の手法は実世界とのインタラクションが求められるが，まず自然な第一ステップとしてインターネットへのアクセスをモデル化してみた．</li>
</ul>
<h2>実験</h2>
<p>Wizard of the Internet (WizInt)という新たなタスクで評価</p>
<p>T5, BART-large, BlenderBotをファインチューニング</p>
<p>Retrieval-augmented methodは5つのドキュメント (<span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: -0.186ex;" xmlns="http://www.w3.org/2000/svg" width="6.157ex" height="1.731ex" role="img" focusable="false" viewBox="0 -683 2721.6 765" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-2-TEX-I-1D441" d="M234 637Q231 637 226 637Q201 637 196 638T191 649Q191 676 202 682Q204 683 299 683Q376 683 387 683T401 677Q612 181 616 168L670 381Q723 592 723 606Q723 633 659 637Q635 637 635 648Q635 650 637 660Q641 676 643 679T653 683Q656 683 684 682T767 680Q817 680 843 681T873 682Q888 682 888 672Q888 650 880 642Q878 637 858 637Q787 633 769 597L620 7Q618 0 599 0Q585 0 582 2Q579 5 453 305L326 604L261 344Q196 88 196 79Q201 46 268 46H278Q284 41 284 38T282 19Q278 6 272 0H259Q228 2 151 2Q123 2 100 2T63 2T46 1Q31 1 31 10Q31 14 34 26T39 40Q41 46 62 46Q130 49 150 85Q154 91 221 362L289 634Q287 635 234 637Z"></path><path id="MJX-2-TEX-N-3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z"></path><path id="MJX-2-TEX-N-35" d="M164 157Q164 133 148 117T109 101H102Q148 22 224 22Q294 22 326 82Q345 115 345 210Q345 313 318 349Q292 382 260 382H254Q176 382 136 314Q132 307 129 306T114 304Q97 304 95 310Q93 314 93 485V614Q93 664 98 664Q100 666 102 666Q103 666 123 658T178 642T253 634Q324 634 389 662Q397 666 402 666Q410 666 410 648V635Q328 538 205 538Q174 538 149 544L139 546V374Q158 388 169 396T205 412T256 420Q337 420 393 355T449 201Q449 109 385 44T229 -22Q148 -22 99 32T50 154Q50 178 61 192T84 210T107 214Q132 214 148 197T164 157Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="1D441" xlink:href="#MJX-2-TEX-I-1D441"></use></g><g data-mml-node="mo" transform="translate(1165.8,0)"><use data-c="3D" xlink:href="#MJX-2-TEX-N-3D"></use></g><g data-mml-node="mn" transform="translate(2221.6,0)"><use data-c="35" xlink:href="#MJX-2-TEX-N-35"></use></g></g></g></svg></mjx-container></span>) を使用</p>
<p>デコーダ</p>
<p>ビームサーチ with ビームサイズ = 3</p>
<p>最小sequence length = 20</p>
<p>beam blocking ngram = 3</p>
<p>評価指標</p>
<p>PPL</p>
<p>F1</p>
<p>gold responseとのオーバーラップを評価</p>
<p>Knowledge F1 (KF1)</p>
<p>モデルの応答と人間がデータ収集時に使った知識のオーバーラップを評価</p>
<p>→ F1とKF1はトレードオフ</p>
<p>KF1が高く，F1が低いと知識には富んでいるが，会話能力は低</p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/l7s7sphq.png" alt=""></p>
<p>Table 3からBART-largeを全てのモデルのPLMベースとして採用</p>
<h2>まとめ</h2>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/ixgpnink.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/128zhnye.png" alt=""></p>
<p>対話生成のプロセスにインターネットの情報を与えると，人との対話においてより事実との不整合の少ない情報を生成することができる</p>
<h2>その他（なぜ通ったか？等）</h2>
<h3>Datasetの概要</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/c1e96cpy.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/upaxz8vo.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/w6dyemsg.png" alt=""></p>
<p>Wizard vs apprentice (Figure 3がペルソナ設定のインターフェース)</p>
<p>Wizardは対話しながらネット検索ができる</p>
<p>→検索された結果をアノテーションし，適切な検索結果が得られなければもう一度検索でき，検索結果を無視することも可能</p>
<p>Apprenticeはペルソナを選び，そのもとでチャット</p>
<p>ペルソナはPersona-ChatとTopical-Chatデータセットに含まれるペルソナから選択</p>
<h3>データ収集インターフェース</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/z4f9ivph.png" alt=""></p>
<h3>対話例</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/xaxs9n1p.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/7wk8s9an.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/gktrd3cq.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/5onmd3g5.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/el45rvtq.png" alt=""></p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@inproceedings{komeili-etal-2022-internet,</p>
</blockquote>
<p>title = "{I}nternet-Augmented Dialogue Generation",
author = "Komeili, Mojtaba and
Shuster, Kurt and
Weston, Jason",
booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = may,
year = "2022",
address = "Dublin, Ireland",
publisher = "Association for Computational Linguistics",
url = "<a href="https://aclanthology.org/2022.acl-long.579">https://aclanthology.org/2022.acl-long.579</a>",
doi = "10.18653/v1/2022.acl-long.579",
pages = "8460--8478",
abstract = "The largest store of continually updating knowledge on our planet can be accessed via internet search. In this work we study giving access to this information to conversational agents. Large language models, even though they store an impressive amount of knowledge within their weights, are known to hallucinate facts when generating dialogue (Shuster et al., 2021); moreover, those facts are frozen in time at the point of model training. In contrast, we propose an approach that learns to generate an internet search query based on the context, and then conditions on the search results to finally generate a response, a method that can employ up-to-the-minute relevant information. We train and evaluate such models on a newly collected dataset of human-human conversations whereby one of the speakers is given access to internet search during knowledgedriven discussions in order to ground their responses. We find that search-query based access of the internet in conversation provides superior performance compared to existing approaches that either use no augmentation or FAISS-based retrieval (Lewis et al., 2020b).",
}</p><style>
mjx-container[jax="SVG"] {
  direction: ltr;
}

mjx-container[jax="SVG"] > svg {
  overflow: visible;
  min-height: 1px;
  min-width: 1px;
}

mjx-container[jax="SVG"] > svg a {
  fill: blue;
  stroke: blue;
}

mjx-container[jax="SVG"][display="true"] {
  display: block;
  text-align: center;
  margin: 1em 0;
}

mjx-container[jax="SVG"][display="true"][width="full"] {
  display: flex;
}

mjx-container[jax="SVG"][justify="left"] {
  text-align: left;
}

mjx-container[jax="SVG"][justify="right"] {
  text-align: right;
}

g[data-mml-node="merror"] > g {
  fill: red;
  stroke: red;
}

g[data-mml-node="merror"] > rect[data-background] {
  fill: yellow;
  stroke: none;
}

g[data-mml-node="mtable"] > line[data-line], svg[data-table] > g > line[data-line] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
  stroke-dasharray: 140;
}

g[data-mml-node="mtable"] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
  stroke-linecap: round;
  stroke-dasharray: 0,140;
}

g[data-mml-node="mtable"] > g > svg {
  overflow: visible;
}

[jax="SVG"] mjx-tool {
  display: inline-block;
  position: relative;
  width: 0;
  height: 0;
}

[jax="SVG"] mjx-tool > mjx-tip {
  position: absolute;
  top: 0;
  left: 0;
}

mjx-tool > mjx-tip {
  display: inline-block;
  padding: .2em;
  border: 1px solid #888;
  font-size: 70%;
  background-color: #F8F8F8;
  color: black;
  box-shadow: 2px 2px 5px #AAAAAA;
}

g[data-mml-node="maction"][data-toggle] {
  cursor: pointer;
}

mjx-status {
  display: block;
  position: fixed;
  left: 1em;
  bottom: 1em;
  min-width: 25%;
  padding: .2em .4em;
  border: 1px solid #888;
  font-size: 90%;
  background-color: #F8F8F8;
  color: black;
}

foreignObject[data-mjx-xml] {
  font-family: initial;
  line-height: normal;
  overflow: visible;
}

mjx-container[jax="SVG"] path[data-c], mjx-container[jax="SVG"] use[data-c] {
  stroke-width: 3;
}
</style>

Highway Transformer: Self-Gating Enhanced Self-Attentive Networksのまとめ

【論文まとめ】Highway Transformer: Self-Gating Enhanced Self-Attentive Networks

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Highway Transformer: Self-Gating Enhanced Self-Attentive Networks</p>
<p>研究会: ACL</p>
<p>年度: 2020</p>
<p>キーワード: transformer, Highway Transformer, Gating Mechanism, Self-Dependency-Units (SDU)</p>
<p>URL: <a href="https://aclanthology.org/2020.acl-main.616.pdf">https://aclanthology.org/2020.acl-main.616.pdf</a></p>
<p>DOI: <a href="http://dx.doi.org/10.18653/v1/2020.acl-main.616">http://dx.doi.org/10.18653/v1/2020.acl-main.616</a></p>
<p>コード: <a href="https://github.com/cyk1337/Highway-Transformer">https://github.com/cyk1337/Highway-Transformer</a></p>
<p>データセット: Penn Tree Bank (PTB), enwik8</p>
<h2>概要</h2>
<p>LSTM-styleなSDUを提案</p>
<p>ゲートとしてSDUをTransformer内部に適用することにより，ハイパラをチューニングすることなく，Transformerの浅い層において，内在的な意味の重要性を捉え，より早い収束を可能に</p>
<h2>提案手法</h2>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/qrpajdel.png" alt=""></p>
<h3>Self-Dependency Units (SDU)</h3>
<p>sigmoid gatesを導入する</p>
<p><span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: 0;" xmlns="http://www.w3.org/2000/svg" width="1.76ex" height="1.545ex" role="img" focusable="false" viewBox="0 -683 778 683" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-1-TEX-N-3A8" d="M340 622Q338 623 335 625T331 629T325 631T314 634T298 635T274 636T239 637H212V683H224Q248 680 389 680T554 683H566V637H539Q479 637 464 635T439 622L438 407Q438 192 439 192Q443 193 449 195T474 207T507 232T536 276T557 344Q560 365 562 417T573 493Q587 536 620 544Q627 546 671 546H715L722 540V515Q714 509 708 509Q680 505 671 476T658 392T644 307Q599 177 451 153L438 151V106L439 61Q446 54 451 52T476 48T539 46H566V0H554Q530 3 389 3T224 0H212V46H239Q259 46 273 46T298 47T314 48T325 51T331 54T335 57T340 61V151Q126 178 117 406Q115 503 69 509Q55 509 55 526Q55 541 59 543T86 546H107H120Q150 546 161 543T184 528Q198 514 204 493Q212 472 213 420T226 316T272 230Q287 216 303 207T330 194L339 192Q340 192 340 407V622Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="3A8" xlink:href="#MJX-1-TEX-N-3A8"></use></g></g></g></svg></mjx-container></span>はゲートとして作用し，logistic sigmoidもしくはtanhで実現</p>
<p>筆者らの認識</p>
<p>tanhはupdate gateとして作用し，重要度の幅を-1 to 1に制限</p>
<p>sigmoidはLSTMのinput gateと似ていて，feature-wise levelでどれくらいの情報を残すか決定</p>
<h3>Pseudo-highway Connection</h3>
<p>residual connectionされたgating-modified encodingsでMulti Head Dot Product Attention (MHDPA)の分散表現を豊かにするため，新たな計算グラフの枝を追加し，SDUとIdentityとMHDPAをpost LNを使用してresidual connectionする</p>
<h2>新規性</h2>
<p>本来，人にとって，読み物をよりよく理解するためには，global contextだけではなく，ここの単語の意味も必要</p>
<p>→ Self-gatingなアプローチを提案</p>
<ol>
<li>Transformerにおける浅い層において，trainingとvalidationでハイパラチューニングすることなく，より高速な収束を達成</li>
<li>Transformerでの低レイヤーにおいて，local-range encodingにフォーカスした層を実現</li>
<li>Self-gating mechanismは，R-TransformerやTransformer-XLのコンポーネントとしてRNN-likeなメカニズムを補完</li>
</ol>
<h2>実験</h2>
<p>SDUを導入し，PTBデータセットにおけるSDUの効果を検証</p>
<p>sigmoidとtanhを実験</p>
<h2>まとめ</h2>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/op874d4u.png" alt=""></p>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/e99q8luh.png" alt=""></p>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/4xk5l3fv.png" alt=""></p>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/gen0ole9.png" alt=""></p>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/bjrucnwe.png" alt=""></p>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/4fv3x3v3.png" alt=""></p>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/c6hfqjx9.png" alt=""></p>
<p><img src="/images/article/Highway-Transformer-Self-Gating-Enhanced-Self-Attentive-Networks/aptzk9jc.png" alt=""></p>
<p>sigmoidによるSDUが安定しているが，データとタスクによってはtanhの方がoutperformすることがある</p>
<p>いずれのactivationを使っても収束は早い</p>
<p>enwik8による大規模データでの追実験において，提案手法が浅いレイヤーには寄与することが確かめられた</p>
<p>SDUで計算量が増えるが，そこまで差はなかった</p>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@inproceedings{chai-etal-2020-highway,
title = "Highway Transformer: Self-Gating Enhanced Self-Attentive Networks",
author = "Chai, Yekun  and
Jin, Shuo  and
Hou, Xinwen",
booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
month = jul,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "<a href="https://aclanthology.org/2020.acl-main.616">https://aclanthology.org/2020.acl-main.616</a>",
doi = "10.18653/v1/2020.acl-main.616",
pages = "6887--6900",
abstract = "Self-attention mechanisms have made striking state-of-the-art (SOTA) progress in various sequence learning tasks, standing on the multi-headed dot product attention by attending to all the global contexts at different locations. Through a pseudo information highway, we introduce a gated component self-dependency units (SDU) that incorporates LSTM-styled gating units to replenish internal semantic importance within the multi-dimensional latent space of individual representations. The subsidiary content-based SDU gates allow for the information flow of modulated latent embeddings through skipped connections, leading to a clear margin of convergence speed with gradient descent algorithms. We may unveil the role of gating mechanism to aid in the context-based Transformer modules, with hypothesizing that SDU gates, especially on shallow layers, could push it faster to step towards suboptimal points during the optimization process.",
}</p>
</blockquote><style>
mjx-container[jax="SVG"] {
  direction: ltr;
}

mjx-container[jax="SVG"] > svg {
  overflow: visible;
  min-height: 1px;
  min-width: 1px;
}

mjx-container[jax="SVG"] > svg a {
  fill: blue;
  stroke: blue;
}

mjx-container[jax="SVG"][display="true"] {
  display: block;
  text-align: center;
  margin: 1em 0;
}

mjx-container[jax="SVG"][display="true"][width="full"] {
  display: flex;
}

mjx-container[jax="SVG"][justify="left"] {
  text-align: left;
}

mjx-container[jax="SVG"][justify="right"] {
  text-align: right;
}

g[data-mml-node="merror"] > g {
  fill: red;
  stroke: red;
}

g[data-mml-node="merror"] > rect[data-background] {
  fill: yellow;
  stroke: none;
}

g[data-mml-node="mtable"] > line[data-line], svg[data-table] > g > line[data-line] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
  stroke-dasharray: 140;
}

g[data-mml-node="mtable"] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
  stroke-linecap: round;
  stroke-dasharray: 0,140;
}

g[data-mml-node="mtable"] > g > svg {
  overflow: visible;
}

[jax="SVG"] mjx-tool {
  display: inline-block;
  position: relative;
  width: 0;
  height: 0;
}

[jax="SVG"] mjx-tool > mjx-tip {
  position: absolute;
  top: 0;
  left: 0;
}

mjx-tool > mjx-tip {
  display: inline-block;
  padding: .2em;
  border: 1px solid #888;
  font-size: 70%;
  background-color: #F8F8F8;
  color: black;
  box-shadow: 2px 2px 5px #AAAAAA;
}

g[data-mml-node="maction"][data-toggle] {
  cursor: pointer;
}

mjx-status {
  display: block;
  position: fixed;
  left: 1em;
  bottom: 1em;
  min-width: 25%;
  padding: .2em .4em;
  border: 1px solid #888;
  font-size: 90%;
  background-color: #F8F8F8;
  color: black;
}

foreignObject[data-mjx-xml] {
  font-family: initial;
  line-height: normal;
  overflow: visible;
}

mjx-container[jax="SVG"] path[data-c], mjx-container[jax="SVG"] use[data-c] {
  stroke-width: 3;
}
</style>

A mental state Knowledge–aware and Contrastive Network for early stress and depression detection on social mediaのまとめ

【論文まとめ】A mental state Knowledge–aware and Contrastive Network for early stress and depression detection on social media

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: A mental state Knowledge–aware and Contrastive Network for early stress and depression detection on social media</p>
<p>研究会: Information Processing &#x26; Management</p>
<p>年度: 2022</p>
<p>キーワード: COMET, mental health, NLP, mental state knowledge, mentalisation, Contrasive Learning, MentalRoBERTa, KC-Net</p>
<p>URL: <a href="https://www.sciencedirect.com/science/article/pii/S0306457322000796">https://www.sciencedirect.com/science/article/pii/S0306457322000796</a></p>
<p>DOI: <a href="https://doi.org/10.1016/j.ipm.2022.102961">https://doi.org/10.1016/j.ipm.2022.102961</a></p>
<p>データセット: Depression_Mixed, Dreaddit, SQuAD</p>
<h2>提案手法</h2>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/asccglgh.png" alt=""></p>
<p>上の流れで学習して，メンタル状態を外部知識のEmbeddingを利用しながら捉える</p>
<ol>
<li>
<p>Data Preprocessing</p>
<ul>
<li>nltk sentence tokenizerを使ってpostを文区切にする
<ul>
<li>→文ごとのmental stateを捉えるため</li>
</ul>
</li>
</ul>
</li>
<li>
<p>Context-aware post (CAP) encoder
RoBERTaをdomain-specificなデータで学習した<strong>MentalRoBERTa</strong>なるものがあるのでそれを使って，context-awareなエンコーダとして使用する</p>
</li>
<li>
<p>Mental satte knowledge infusion
mental stateの知識を捉えるため，ATOMICで学習されたGPTベースのCOMETを使用する</p>
<p>理由：</p>
</li>
</ol>
<p>↑mental stateとmental health conditionの関係を捉えるために，ConceptNetではなくATOMICで学習されたものを使った</p>
<ul>
<li>ConceptNet：一般的な言語の概念を含む</li>
<li>ATOMIC：human interactionを捉えたcommonsenseを含む
<ol>
<li>
<p>Feature extraction
以下の5つのaspectを使用した</p>
<ul>
<li>intent of S</li>
<li>effect on S</li>
<li>reaction of S</li>
<li>effect on others</li>
<li>reaction of others</li>
</ul>
<p><strong>面白ポイント：COMETのlm_headを削除し，Transformerの内部のみをEncoderとして扱う</strong></p>
</li>
</ol>
</li>
</ul>
<p>直接的にpost representationをモデルに統合できて，mental-related variablesを適応することが期待できる</p>
<pre><code class="hljs language-markdown"><span class="hljs-code">	CAP embeddingsによるtoken-level representationは，max poolingによってsentence-level representationとされる
</span>
<span class="hljs-code">	$\hat{H}_j^i = max\_pooling(H[P_{j-1}^i : P_j^i])$
</span>
<span class="hljs-bullet">2.</span> Knowledge-aware mentalisation
<span class="hljs-code">	5つの独立したGRUを使用して，mentalのaspect毎に学習するスタイル
</span></code></pre>
<p>これでpost-level representationになる</p>
<pre><code class="hljs language-arduino">	その後GRUによるmental aspectごとのpost-level representationとmax poolingされたsentence-level representationをAttentionすることで統合する
</code></pre>
<ol start="4">
<li>Supervised contrasive learning
より文章のsemantic meaningに注意して学習するために，contrasive learningを使用した</li>
</ol>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/9nzqkqxg.png" alt=""></p>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/u6fwk2ku.png" alt=""></p>
<h2>新規性</h2>
<ul>
<li>mental state knolwedgeを使うことでスピーカー（実験ではpostした人）のmental stateを明示的にモデル化する</li>
<li>model state knowledgeを理解し，使うモデルの能力を強くするため，knowledge-aware dot-product attentionに基づくmentalisation moduleを導入</li>
</ul>
<h2>評価方法</h2>
<p>baseline</p>
<ul>
<li>CNN</li>
<li>GRU</li>
<li>BiLSTM_Attn</li>
<li>LR+Features (Logistic Regression)</li>
<li>EMO_INF</li>
<li>BERT</li>
<li>RoBERTa</li>
<li>MentalRoBERTa</li>
</ul>
<p>Precision / Recall / F1を比較</p>
<h2>何がすごかった？</h2>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/82djhuwa.png" alt=""></p>
<p><img src="/images/article/A-mental-state-Knowledge%E2%80%93aware-and-Contrastive-Network-for-early-stress-and-depression-detection-on-social-media/9rsi0ppo.png" alt=""></p>
<ul>
<li>label情報を完全に利用するためのsupervised contrasive learningを使用することでclass-specificな特徴量を捉える必要性を議論</li>
<li>SOTAモデル on three stress and depression detection datasets</li>
</ul>
<h2>次に読みたい論文</h2>
<p>CEM: Commonsense-aware Empathetic Response Generation</p>
<h2>引用</h2>
<blockquote>
<p>@article{YANG2022102961,
title = {A mental state Knowledge–aware and Contrastive Network for early stress and depression detection on social media},
journal = {Information Processing &#x26; Management},
volume = {59},
number = {4},
pages = {102961},
year = {2022},
issn = {0306-4573},
doi = {<a href="https://doi.org/10.1016/j.ipm.2022.102961">https://doi.org/10.1016/j.ipm.2022.102961</a>},
url = {<a href="https://www.sciencedirect.com/science/article/pii/S0306457322000796">https://www.sciencedirect.com/science/article/pii/S0306457322000796</a>},
author = {Kailai Yang and Tianlin Zhang and Sophia Ananiadou},
keywords = {Mental health, Natural language processing, Mental state knowledge, Mentalisation, Contrastive learning},
abstract = {Stress and depression detection on social media aim at the analysis of stress and identification of depression tendency from social media posts, which provide assistance for the early detection of mental health conditions. Existing methods mainly model the mental states of the post speaker implicitly. They also lack the ability to mentalise for complex mental state reasoning. Besides, they are not designed to explicitly capture class-specific features. To resolve the above issues, we propose a mental state Knowledge–aware and Contrastive Network (KC-Net). In detail, we first extract mental state knowledge from a commonsense knowledge base COMET, and infuse the knowledge using Gated Recurrent Units (GRUs) to explicitly model the mental states of the speaker. Then we propose a knowledge–aware mentalisation module based on dot-product attention to accordingly attend to the most relevant knowledge aspects. A supervised contrastive learning module is also utilised to fully leverage label information for capturing class-specific features. We test the proposed methods on a depression detection dataset Depression_Mixed with 3165 Reddit and blog posts, a stress detection dataset Dreaddit with 3553 Reddit posts, and a stress factors recognition dataset SAD with 6850 SMS-like messages. The experimental results show that our method achieves new state-of-the-art results on all datasets: 95.4% of F1 scores on Depression_Mixed, 83.5% on Dreaddit and 77.8% on SAD, with 2.07% average improvement. Factor-specific analysis and ablation study prove the effectiveness of all proposed modules, while UMAP analysis and case study visualise their mechanisms. We believe our work facilitates detection and analysis of depression and stress on social media data, and shows potential for applications on other mental health conditions.}
}</p>
</blockquote>

A Survey of Knowledge-Intensive NLP with Pre-Trained Language Modelsのまとめ

【論文まとめ】A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models</p>
<p>研究会: arxiv</p>
<p>年度: 2022</p>
<p>キーワード: survey, NLP, knowledge-base, PLMKE, commonsense, encyclopedic, Knowledge-Intensive NLP</p>
<p>URL: <a href="https://arxiv.org/pdf/2202.08772.pdf">https://arxiv.org/pdf/2202.08772.pdf</a></p>
<p>DOI: <a href="https://doi.org/10.48550/arXiv.2202.08772">https://doi.org/10.48550/arXiv.2202.08772</a></p>
<p>データセット:</p>
<p>まとめること</p>
<ol>
<li>Knowledge-Intensive NLPの概要</li>
<li>Knowledge Sources
<ol>
<li>Encyclopedic Knowledge</li>
<li>Commonsense Knowledge</li>
<li>最近のKnowledge Sourcesの特徴</li>
</ol>
</li>
<li>Knowledge-Intensive NLP Task
<ol>
<li>Knowledge-Intensive NLP Taskの概要</li>
<li>Knowledge-Intensive NLP Taskの特徴</li>
</ol>
</li>
<li>Knowledge Fusion Methodsについて
<ol>
<li>Pre-Fusion Methods</li>
<li>Post-Fusion Methods</li>
<li>Hybrid-Fusion Methods</li>
<li>代表的なモデルの紹介</li>
</ol>
</li>
<li>Challengingなことと今後の方向性
<ol>
<li>Unified PLMKEs Across Tasks and Domains</li>
<li>Reliability of Knowledge Sources</li>
<li>Reasoning Module Design</li>
</ol>
</li>
</ol>
<h2>概要</h2>
<p>事前学習済みモデルにより，モデルのcapacityは増加傾向にあるが，encyclopedicやcommonsenseを用いた，knowledgeableなNLPモデルの需要の高まりが生じている</p>
<p>**PLMKEs (Pre-trained Language Model-based Knowledge-Enhanced models)**についてまとめたsurvey論文</p>
<p>linguistic or factual knowledgeは暗示的にモデルのパラメータに保存される</p>
<p>→事前学習済みのNLPモデルがより汎用的な能力を持つことを一部ではあるが説明できる</p>
<p>今のpre-trained LMは，明示的なencyclopedicやcommonsenseのレバレッジ能力に欠けている</p>
<p>PLMKEsは，関連する外部知識を取り出すモジュールと知識を混ぜるモジュールがある</p>
<p>PLMKEsに関連した重要な3つの要素がある</p>
<ol>
<li>Knowledge Sources</li>
<li>Knowledge-Intensive NLP Tasks</li>
<li>Knowledge Fusion Methods</li>
</ol>
<h2>Knowledge Sources</h2>
<h3>Encyclopedic knowledge</h3>
<p>エンティティに関する属性とエンティティ間の関係性をもった知識</p>
<p>Entity: person → Attributes: age → Relations: educated at</p>
<p>Wikipediaは大量のencyclopedicな知識を持っている</p>
<p>人物の経歴やイベントの背景などを含んでいる</p>
<p>一般的にはtripletsで構成されていることが多い</p>
<p>e.g. &#x3C;Tom Hanks, occupation, actor></p>
<p>Wikidataのような知識データがPLMKEsに広く使用されている</p>
<h3>Commonsense Knowledge</h3>
<p>日常生活のなかでの状況に関する知識</p>
<p>イベントとその影響を記す</p>
<p>e.g. mop up the floor if we split food over it / study hard to win scholarship / goat has four legs</p>
<p>commonsenseの特徴</p>
<p>多くの人の間で共有されている知識であり，コミュニケーションの中で暗示的に想定されている知識である</p>
<p>commonsenseもtripletsで表現される</p>
<p>最近のPLMKEsでは，ConceptNetとATOMICが外部知識として使用されることが多い</p>
<h3>Knowledge Sourcesの特徴</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/gcgqsmdk.png" alt=""></p>
<p>large-scaleでdiverse</p>
<p>現在のソースはより正確で安定的に作られている</p>
<p>アノテーションのプロセスは部分的に自動化されていて，非エキスパートにもaccessibleになっている</p>
<p>知識データがカバーするドメインは多様</p>
<p>オープンドメインのものもあれば，specificなドメインのものも</p>
<p>Wikipedia, DBPedia, Freebaseなどはオープンドメイン</p>
<p>UMLSやAMinerなどはbiomedicineやscienceの特定ドメイン</p>
<p>domain-specificなアプリケーションをブーストできる知識</p>
<p>commonsenseに関しては</p>
<p>ConceptNetやTransOMCSは複数のドメインのcommonsenseをカバー</p>
<p>ATOMICやASERはある特定のタイプのcommonsenseにフォーカスした知識ソース</p>
<h2>Knowledge-Intensive NLP Task</h2>
<h3>概要</h3>
<p>Knowledge-intensive NLP taskは必要とする知識ソースの種類で2つに分けられ，さらに詳細に分けることができる</p>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/ju1lqjam.png" alt=""></p>
<ul>
<li>
<p>encyclopedic knowledge-intensive NLP task
encyclopedicの知識ソースを利用する</p>
<ul>
<li>open-domain QA</li>
<li>fact verification</li>
<li>entity linking</li>
</ul>
</li>
</ul>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/kr89pm58.png" alt=""></p>
<ul>
<li>
<p>commonsense knowledge-intensive NLP task
commonsenseの知識ソースを利用する</p>
<p>commonsenseの多様性のために，タスクのタイプ自体も多様化している</p>
<p>モデルが正確に日常のシナリオを理解し，応答するか否かのテストにフォーカスしたタスク</p>
<ul>
<li>General Commonsense</li>
<li>Social Commonsense</li>
<li>Physical Commonsense</li>
<li>Temporal Commonsense</li>
</ul>
</li>
</ul>
<h3>Knowledge-Intensive Taskの特徴</h3>
<p>実際は，モデルにとってだけではなく，人間にとってもいかなる知識の参照なしに問題に答えるのは難しい．（バラクオバマの誕生日はいつ？など</p>
<p>しかも，外部知識が必要なのにinputとして必要な外部知識が渡されないため，とてもチャレンジングなタスクになっている</p>
<p>そもそも必要な外部知識にグラウンディングするモジュールをPLMKEsの設計に加えることを考慮するようになっている</p>
<h2>Knowledge Fusion Methods</h2>
<p>モデルが知識を統合するステージは二箇所あり，</p>
<ul>
<li>Pre-fusion; pre-training</li>
<li>Post-fusion; fine-tuning</li>
</ul>
<p>の二通りが考えられる（もしくはその両方のステージ</p>
<h3>Pre-Fusion Methods</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/z4lvh39q.png" alt=""></p>
<p>pre-trainingのステージで知識を統合する手法</p>
<p>モデルに知識を入力するため，構造化された知識データを非構造化データのテキストコーパスへと処理→モデルに入力</p>
<p>テキストデータとして知識を入力するため，大きくモデルのアーキテクチャを変更する必要はない</p>
<p>ただし，知識グラフのような構造化データを非構造化データへ変えることは難しいこともある</p>
<p>簡単な対処法はエンティティと関係性を結合するか，流暢な文章をconditional text generation modelに生成させるか</p>
<p>Zhang et al. 2019 | Agarwal et al. 2021 を参照（必要になれば読む</p>
<h3>Post-Fusion Methods</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/bshr899d.png" alt=""></p>
<p>まず，関連知識をキャプチャする</p>
<p>次に取得した関連知識をGNNなどのエンコーダでembeddingを得る</p>
<ul>
<li>それを追加特徴量としてpre-trained LMに与える（図でいうA）</li>
<li>直接pre-trained LMに入力する（図でいうB）</li>
</ul>
<h3>Hybrid-Fusion Methods</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/1yg24grj.png" alt=""></p>
<p>pre-trainingとfine-tuningの両方のステージで知識を統合する</p>
<p>追加の学習されるretrieverによりaugmentされたpre-trained modelは，fine-tuningのステージでより効果的にretrieverからの知識を活用できる</p>
<p>retrieval-augmented pre-trainingでhybrid-fusionが広く使われている</p>
<h3>代表的なモデル</h3>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/xh93uokd.png" alt=""></p>
<p><img src="/images/article/A-Survey-of-Knowledge-Intensive-NLP-with-Pre-Trained-Language-Models/cl36oka6.png" alt=""></p>
<p>Table4/5はSOTAモデルを示す</p>
<p>encyclopedic knowledge-intensive taskにおいては，BOOLQをのぞき，全てpost-fusionを採用</p>
<p>commonsense knowledge-intensive taskにおいては，CommonsenseQAをのぞき，全てpre-fusionを採用</p>
<p>pre-fusionとpost-fusionの違いは何？</p>
<p>pre-fusionは，知識を事前学習のパラメータに暗示的に保存数る</p>
<p>最終的にどの知識がパラメータに保存するのかを決定するのは難しい</p>
<p>知識の引き出しや利用の難しさが増す</p>
<p>post-fusionは，明示的で具体的なテキストの知識を推論できる</p>
<p>post-fusionの利点は，commonsense knolwedge-intensive taskでは欠点になりうる</p>
<p>commonsenseはたいていテキストの中に暗示的に置かれていて，commonsenseの知識ソースのカバー範囲はencyclopedicの知識ソースのカバー範囲に比べればとても小さい</p>
<p>large-scaleなcommonsenseのソースの利用がたとえ有用だとしても，日常生活で使われる大半のcommonsenseを見落としがちなまま</p>
<p>→commonsenseにおいて，post-fusionがあまり効かないのはそのためなのでは？</p>
<h2>Challenges and Future Directions</h2>
<h3>Unified PLMKEs Across Tasks and Domains</h3>
<p>task-specificなモデリングでは進展がある</p>
<p>post-fusionとhybrid-fusionはencyclopedicで適用されているが，commonsenseでは採用できておらず恩恵が得られていない</p>
<p>異なるタスク間でのPLMKEsはユニークであるため，各タスク間で互換性がない</p>
<p>biomedicalやlegalの知識に関するknowledge-intensive NLP taskまで拡張されている</p>
<p>最近では，異なる時間や地域に存在する知識の多様性に対しても重要度を割り当てている</p>
<p>タスク間やdomain間でのunified PLMKEsの必要性がましている</p>
<h3>Reliability of Kowledge Sources</h3>
<p>知識ソースの信頼性に関して</p>
<p>多くのlarge-scaleな知識ソースは自動的な知識獲得アルゴリズムで構築されている</p>
<p>→スケールと正確性はトレードオフになってしまう</p>
<p>PLMKEsにおけるバイアスの増幅はバイアスのある知識ソースによって構築されてしまう</p>
<p>知識獲得アルゴリズムの見直しや使う前の知識ソースの注意深い精査が必要である</p>
<h3>Reasoning Module Design</h3>
<p>Reasoningはknowledge-intensive NLP taskを解く上で重要なステップである</p>
<p>commonsenseを考えるときは手順を踏んで，複雑な状況を把握する</p>
<p>e.g. <someone spilled="" the="" food="" all="" over="" floor=""></someone></p>
<p>まず，床が綺麗でないことを把握</p>
<p>こぼした食べ物を踏んで他の人の靴が汚くなったのだろうと考える</p>
<p>↑上記状況を踏まえて，モップをかける意図が生まれる</p>
<p>人間のような日々の状況を認識する能力を獲得するには，multi-hopなreasoning moduleが必要になる（上の例みたいな形</p>
<h2>引用</h2>
<blockquote>
</blockquote>