Internet-Augmented Dialogue Generationのまとめ

【論文まとめ】Internet-Augmented Dialogue Generation

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Internet-Augmented Dialogue Generation</p>
<p>研究会: ACL</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, Internet-Augmented</p>
<p>URL: <a href="https://aclanthology.org/2022.acl-long.579.pdf">https://aclanthology.org/2022.acl-long.579.pdf</a></p>
<p>DOI: <a href="http://dx.doi.org/10.18653/v1/2022.acl-long.579">http://dx.doi.org/10.18653/v1/2022.acl-long.579</a></p>
<p>データセット: Topical-Chat, Wizard of Wikipedia</p>
<h2>概要</h2>
<p>検索クエリを生成し，Bing検索の結果をもとに応答生成を行うことで，大規模言語モデルの抱えるhallucinationの問題を軽減しつつ，up-to-the-minute relavent informationを導入した生成を可能にする．</p>
<p>インターネットによるaugmentationを行わないモデルやFAISSベースのモデルよりも，search-queryのモデルは優れた会話能力を達成した．</p>
<h2>提案手法</h2>
<p>提案手法 (Search Engine-Augmented Generation) の流れ</p>
<ol>
<li>コンテクストから検索クエリを生成</li>
<li><span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: 0;" xmlns="http://www.w3.org/2000/svg" width="2.009ex" height="1.545ex" role="img" focusable="false" viewBox="0 -683 888 683" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-1-TEX-I-1D441" d="M234 637Q231 637 226 637Q201 637 196 638T191 649Q191 676 202 682Q204 683 299 683Q376 683 387 683T401 677Q612 181 616 168L670 381Q723 592 723 606Q723 633 659 637Q635 637 635 648Q635 650 637 660Q641 676 643 679T653 683Q656 683 684 682T767 680Q817 680 843 681T873 682Q888 682 888 672Q888 650 880 642Q878 637 858 637Q787 633 769 597L620 7Q618 0 599 0Q585 0 582 2Q579 5 453 305L326 604L261 344Q196 88 196 79Q201 46 268 46H278Q284 41 284 38T282 19Q278 6 272 0H259Q228 2 151 2Q123 2 100 2T63 2T46 1Q31 1 31 10Q31 14 34 26T39 40Q41 46 62 46Q130 49 150 85Q154 91 221 362L289 634Q287 635 234 637Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="1D441" xlink:href="#MJX-1-TEX-I-1D441"></use></g></g></g></svg></mjx-container></span>個のドキュメントを取得</li>
<li>FiD (Fusion in Decoder)モデルによって，個々のドキュメントをエンコードし，対話コンテクストと結合して，応答を生成</li>
</ol>
<p>インターネットへのアクセスの手法</p>
<ol>
<li><strong>FAISS: distributed approximate nearest-neighbor databaseにストアすることでページをキャッシュ</strong>
<ol>
<li>これがベースライン的な手法</li>
<li>Common CrawlのデータをFAISSストアして検索をかける</li>
<li>ベースライン手法
<ol>
<li>RAG (Retrieval Augmented Generation)</li>
<li>FiD (Fusion in Decoder)</li>
<li>FiD-RAG</li>
<li>FAISS + Search Query-based Retrieval</li>
</ol>
</li>
</ol>
</li>
<li><strong>インターネットに直接アクセスしてページを取得</strong>
<ol>
<li>FAISS-basedの手法の課題を解決するため
<ol>
<li>リアルタイムなウェブ情報に更新するのが難しい</li>
<li>ローカルのFAISSにストアできるウェブページの数には限界がある</li>
<li>インターネット検索エンジンがチューニングしているハイクオリティなページのランキングの利点を活かせない</li>
</ol>
</li>
</ol>
</li>
</ol>
<h2>新規性</h2>
<ul>
<li>インターネットにアクセスすることで，常に数え切れないほどの最新の情報にアクセスし，それを取り入れた応答生成を可能にする</li>
<li>knowledge regulationなどを行うことで，dynamic state of the worldに対応する
<ul>
<li>大規模言語モデルは，知識をweightsの中で記憶してしまうため，hallucinationが起きやすい→これを正則化によってよりうまく情報をcopyするように学習させる</li>
</ul>
</li>
<li>長い目で見れば機械学習の手法は実世界とのインタラクションが求められるが，まず自然な第一ステップとしてインターネットへのアクセスをモデル化してみた．</li>
</ul>
<h2>実験</h2>
<p>Wizard of the Internet (WizInt)という新たなタスクで評価</p>
<p>T5, BART-large, BlenderBotをファインチューニング</p>
<p>Retrieval-augmented methodは5つのドキュメント (<span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: -0.186ex;" xmlns="http://www.w3.org/2000/svg" width="6.157ex" height="1.731ex" role="img" focusable="false" viewBox="0 -683 2721.6 765" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-2-TEX-I-1D441" d="M234 637Q231 637 226 637Q201 637 196 638T191 649Q191 676 202 682Q204 683 299 683Q376 683 387 683T401 677Q612 181 616 168L670 381Q723 592 723 606Q723 633 659 637Q635 637 635 648Q635 650 637 660Q641 676 643 679T653 683Q656 683 684 682T767 680Q817 680 843 681T873 682Q888 682 888 672Q888 650 880 642Q878 637 858 637Q787 633 769 597L620 7Q618 0 599 0Q585 0 582 2Q579 5 453 305L326 604L261 344Q196 88 196 79Q201 46 268 46H278Q284 41 284 38T282 19Q278 6 272 0H259Q228 2 151 2Q123 2 100 2T63 2T46 1Q31 1 31 10Q31 14 34 26T39 40Q41 46 62 46Q130 49 150 85Q154 91 221 362L289 634Q287 635 234 637Z"></path><path id="MJX-2-TEX-N-3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z"></path><path id="MJX-2-TEX-N-35" d="M164 157Q164 133 148 117T109 101H102Q148 22 224 22Q294 22 326 82Q345 115 345 210Q345 313 318 349Q292 382 260 382H254Q176 382 136 314Q132 307 129 306T114 304Q97 304 95 310Q93 314 93 485V614Q93 664 98 664Q100 666 102 666Q103 666 123 658T178 642T253 634Q324 634 389 662Q397 666 402 666Q410 666 410 648V635Q328 538 205 538Q174 538 149 544L139 546V374Q158 388 169 396T205 412T256 420Q337 420 393 355T449 201Q449 109 385 44T229 -22Q148 -22 99 32T50 154Q50 178 61 192T84 210T107 214Q132 214 148 197T164 157Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="1D441" xlink:href="#MJX-2-TEX-I-1D441"></use></g><g data-mml-node="mo" transform="translate(1165.8,0)"><use data-c="3D" xlink:href="#MJX-2-TEX-N-3D"></use></g><g data-mml-node="mn" transform="translate(2221.6,0)"><use data-c="35" xlink:href="#MJX-2-TEX-N-35"></use></g></g></g></svg></mjx-container></span>) を使用</p>
<p>デコーダ</p>
<p>ビームサーチ with ビームサイズ = 3</p>
<p>最小sequence length = 20</p>
<p>beam blocking ngram = 3</p>
<p>評価指標</p>
<p>PPL</p>
<p>F1</p>
<p>gold responseとのオーバーラップを評価</p>
<p>Knowledge F1 (KF1)</p>
<p>モデルの応答と人間がデータ収集時に使った知識のオーバーラップを評価</p>
<p>→ F1とKF1はトレードオフ</p>
<p>KF1が高く，F1が低いと知識には富んでいるが，会話能力は低</p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/l7s7sphq.png" alt=""></p>
<p>Table 3からBART-largeを全てのモデルのPLMベースとして採用</p>
<h2>まとめ</h2>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/ixgpnink.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/128zhnye.png" alt=""></p>
<p>対話生成のプロセスにインターネットの情報を与えると，人との対話においてより事実との不整合の少ない情報を生成することができる</p>
<h2>その他（なぜ通ったか？等）</h2>
<h3>Datasetの概要</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/c1e96cpy.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/upaxz8vo.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/w6dyemsg.png" alt=""></p>
<p>Wizard vs apprentice (Figure 3がペルソナ設定のインターフェース)</p>
<p>Wizardは対話しながらネット検索ができる</p>
<p>→検索された結果をアノテーションし，適切な検索結果が得られなければもう一度検索でき，検索結果を無視することも可能</p>
<p>Apprenticeはペルソナを選び，そのもとでチャット</p>
<p>ペルソナはPersona-ChatとTopical-Chatデータセットに含まれるペルソナから選択</p>
<h3>データ収集インターフェース</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/z4f9ivph.png" alt=""></p>
<h3>対話例</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/xaxs9n1p.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/7wk8s9an.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/gktrd3cq.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/5onmd3g5.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/el45rvtq.png" alt=""></p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@inproceedings{komeili-etal-2022-internet,</p>
</blockquote>
<p>title = "{I}nternet-Augmented Dialogue Generation",
author = "Komeili, Mojtaba and
Shuster, Kurt and
Weston, Jason",
booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = may,
year = "2022",
address = "Dublin, Ireland",
publisher = "Association for Computational Linguistics",
url = "<a href="https://aclanthology.org/2022.acl-long.579">https://aclanthology.org/2022.acl-long.579</a>",
doi = "10.18653/v1/2022.acl-long.579",
pages = "8460--8478",
abstract = "The largest store of continually updating knowledge on our planet can be accessed via internet search. In this work we study giving access to this information to conversational agents. Large language models, even though they store an impressive amount of knowledge within their weights, are known to hallucinate facts when generating dialogue (Shuster et al., 2021); moreover, those facts are frozen in time at the point of model training. In contrast, we propose an approach that learns to generate an internet search query based on the context, and then conditions on the search results to finally generate a response, a method that can employ up-to-the-minute relevant information. We train and evaluate such models on a newly collected dataset of human-human conversations whereby one of the speakers is given access to internet search during knowledgedriven discussions in order to ground their responses. We find that search-query based access of the internet in conversation provides superior performance compared to existing approaches that either use no augmentation or FAISS-based retrieval (Lewis et al., 2020b).",
}</p><style>
mjx-container[jax="SVG"] {
  direction: ltr;
}

mjx-container[jax="SVG"] > svg {
  overflow: visible;
  min-height: 1px;
  min-width: 1px;
}

mjx-container[jax="SVG"] > svg a {
  fill: blue;
  stroke: blue;
}

mjx-container[jax="SVG"][display="true"] {
  display: block;
  text-align: center;
  margin: 1em 0;
}

mjx-container[jax="SVG"][display="true"][width="full"] {
  display: flex;
}

mjx-container[jax="SVG"][justify="left"] {
  text-align: left;
}

mjx-container[jax="SVG"][justify="right"] {
  text-align: right;
}

g[data-mml-node="merror"] > g {
  fill: red;
  stroke: red;
}

g[data-mml-node="merror"] > rect[data-background] {
  fill: yellow;
  stroke: none;
}

g[data-mml-node="mtable"] > line[data-line], svg[data-table] > g > line[data-line] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
  stroke-dasharray: 140;
}

g[data-mml-node="mtable"] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
  stroke-linecap: round;
  stroke-dasharray: 0,140;
}

g[data-mml-node="mtable"] > g > svg {
  overflow: visible;
}

[jax="SVG"] mjx-tool {
  display: inline-block;
  position: relative;
  width: 0;
  height: 0;
}

[jax="SVG"] mjx-tool > mjx-tip {
  position: absolute;
  top: 0;
  left: 0;
}

mjx-tool > mjx-tip {
  display: inline-block;
  padding: .2em;
  border: 1px solid #888;
  font-size: 70%;
  background-color: #F8F8F8;
  color: black;
  box-shadow: 2px 2px 5px #AAAAAA;
}

g[data-mml-node="maction"][data-toggle] {
  cursor: pointer;
}

mjx-status {
  display: block;
  position: fixed;
  left: 1em;
  bottom: 1em;
  min-width: 25%;
  padding: .2em .4em;
  border: 1px solid #888;
  font-size: 90%;
  background-color: #F8F8F8;
  color: black;
}

foreignObject[data-mjx-xml] {
  font-family: initial;
  line-height: normal;
  overflow: visible;
}

mjx-container[jax="SVG"] path[data-c], mjx-container[jax="SVG"] use[data-c] {
  stroke-width: 3;
}
</style>