CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generationのまとめ

【論文まとめ】CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generation

対話システムはどのように話すべきかのまとめ

【論文まとめ】対話システムはどのように話すべきか

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: 対話システムはどのように話すべきか</p>
<p>研究会: 日本音響学会誌</p>
<p>年度: 2022</p>
<p>キーワード: 聞き手反応, dialogue system</p>
<p>URL: <a href="https://www.jstage.jst.go.jp/article/jasj/78/5/78_283/_pdf">https://www.jstage.jst.go.jp/article/jasj/78/5/78_283/_pdf</a></p>
<p>DOI: <a href="https://doi.org/10.20697/jasj.78.5_283">https://doi.org/10.20697/jasj.78.5_283</a></p>
<p>データセット:</p>
<h2>概要</h2>
<p>「<strong>聞き手反応</strong>」をキーワードに，対話システムが発する音声をどのように生成するべきかという観点から音声対話システムとの自然な対話の実現に迫った研究の紹介．</p>
<h2>聞き手反応</h2>
<p>会話は話し手と聞き手の相互行為により産出されるもの</p>
<p>聞き手の反応を「相槌表現」として次の分類（Den et al., 2011）</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/8io2tuxq.png" alt=""></p>
<p><strong>聞き手の行動の観察は分析上不可欠</strong>であるが，音声対話システム研究ではほとんど考慮されない</p>
<p><strong>人はシステムに対して，（人同士の対話と異なり）ほとんど聞き手反応をしない</strong></p>
<p>人は，どのようにして声でシステムを操作するかを学ぶ</p>
<p>→ 機械は機械であり，人と同じようにコミュニケーションができないことを知っている</p>
<h2>聞き手反応を誘発する話し方</h2>
<p>音声対話システム vs 人における違い</p>
<ul>
<li>発話タイミングを含むターンテイキング</li>
<li><strong>話し方</strong>
<ul>
<li><strong>人同士の対話における発話は，必ずしも明瞭かつ流暢ではない．</strong></li>
</ul>
</li>
</ul>
<p>高津ら（2018）の研究では，人同士の対話にのみ存在する話し方の特徴を要因に分解し，次のコードで表す．</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/bjl0al4r.png" alt=""></p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/omr9dl0c.png" alt=""></p>
<p>そして，以下の3条件でWoZ対話的なことを行う</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/fhyb4a69.png" alt=""></p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/4plgxweb.png" alt=""></p>
<p>発話計画例と実験の結果は次のとおり</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/0k7tzm7m.png" alt=""></p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/vryomqfg.png" alt=""></p>
<p><strong>機械的な発話をすると，聞き手反応が減る</strong></p>
<h2>自発音声コーパスを元にした音声で話すエージェント（飯塚ら, 2019）</h2>
<p>読み上げ音声コーパスではなく，自然な会話コーパスを用いて音声合成を訓練することで，読み上げと会話の音声のギャップを埋めうる</p>
<p><ins>しかし，そのような試みは少ない</ins></p>
<p>以下が考えうる要因</p>
<ol>
<li>声のプロと違い，普通の人々の音声は正確性，明瞭性に欠けるから，音声合成に相応しくないという思い込み</li>
<li>会話音声の多様性．テキストだけでは説明できない音声のパラ言語的な特徴の変動が読み上げ音声に比べて大きく，モデル化が相対的に困難なこと</li>
<li><strong>会話コーパスの小ささ．音声合成ではデータりょうが品質に直結するが，会話コーパスの場合，話者一人当たりのデータ量が少なく，音声のモデル化が困難なこと</strong>
<ol>
<li>筆者ら研究チームでは，とりわけこれがネックだった</li>
<li>→ ニューラルボコーダ（高木, 2019）の登場によりインパクトに</li>
</ol>
</li>
</ol>
<p>実験として，<ins>読み上げ独話音声コーパスJSUT vs 自発対話音声コーパスUUDB（宇都宮大学パラ言語情報研究向け音声対話データベース）</ins></p>
<p>音声合成にはTacotron 2，スペクトルからの波形生成にはMelGAN</p>
<p>UUDBでは女性話者1名のデータでfine-tuning</p>
<p>MMDAgentを利用して音声対話システムを構築（研究仮説を検証するため）</p>
<p><ins>国当てクイズの対話シナリオ</ins></p>
<p>実験結果とその対話動画視聴から得たアンケート結果</p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/9m8j5vxi.png" alt=""></p>
<p><img src="/images/article/%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AF%E3%81%A9%E3%81%AE%E3%82%88%E3%81%86%E3%81%AB%E8%A9%B1%E3%81%99%E3%81%B9%E3%81%8D%E3%81%8B/qfx0mds4.png" alt=""></p>
<p><strong>自然な会話コーパス（ここではUUDB）を元にした合成音声で話すシステムとの対話の方が，人同士の対話に近い振る舞いをしている．</strong></p>
<p><ins>感情表出系感動詞及び笑いの数に有意な差は認められず</ins></p>
<p>「不気味の谷」？？？</p>
<h2>まとめ</h2>
<p>自然な音声対話の実現を望むならば，もっと本物の音声コミュニケーションと真剣に向き合わなければならないのではないか？</p>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@article{2022,
author = {森 大毅},
doi = {10.20697/jasj.78.5_283},
journal = {日本音響学会誌},
number = {5},
pages = {283-288},
title = {対話システムはどのように話すべきか},
volume = {78},
year = {2022},
bdsk-url-1 = {<a href="https://doi.org/10.20697/jasj.78.5_283">https://doi.org/10.20697/jasj.78.5_283</a>}}</p>
</blockquote>

Recent Neural Methods on Dialogue State Tracking for Task-Oriented Dialogue Systems: A Surveyのまとめ

【論文まとめ】Recent Neural Methods on Dialogue State Tracking for Task-Oriented Dialogue Systems: A Survey

Recent Advances in Deep Learning Based Dialogue Systems: A Systematic Surveyのまとめ

【論文まとめ】Recent Advances in Deep Learning Based Dialogue Systems: A Systematic Survey

A survey on empathetic dialogue systemsのまとめ

【論文まとめ】A survey on empathetic dialogue systems

遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析のまとめ

【論文まとめ】遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: 遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-2.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-2.pdf</a></p>
<p>データセット:</p>
<h2>概要</h2>
<p>対話を通じてユーザに行動変容を促す説得対話システムの研究を行うため，マルチモーダル情報を含む説得対話コーパスの収録</p>
<p>音声と顔画像から得られる特徴量を含む説得対話コーパス</p>
<p>収集したコーパスと合わせて前後にアンケート</p>
<p>被験者に対して追跡調査を行い，実際に説得により行動が変容したかも調査</p>
<h2>提案手法</h2>
<p>5〜8分の対話を収録</p>
<p>3つのドメインについて収集：「運動の促し」「インターネット依存の改善」「慈善事業団体への募金の促し」</p>
<p>Woz対話であることを伏せて，ERICAで開発された新しいシステムと対話をしてもらうという目的と被験者に伝えた</p>
<p>効果的な説得対話の戦略（論文参照）に基づいてERICAが発話</p>
<p>また以下の流れで対話</p>
<ol>
<li>お互いに挨拶</li>
<li>会話テーマの提示（ドメイン）</li>
<li>会話テーマに対する被験者の意識を尋ねる</li>
<li>相手の反応に応じて説得</li>
<li>5分経過後，流れに応じて対話終了</li>
</ol>
<h2>新規性</h2>
<p>説得対話における非言語情報の活用を指向し，遠隔操作Androidを用いたWoz対話によるcleanマルチモーダル説得対話コーパスの収集</p>
<p>先行研究では主に対話中の説得にフォーカスしているが，本論文では追跡調査による実際の行動変容を調査</p>
<h2>実験</h2>
<p><strong>収録環境</strong></p>
<p>説得マイクでステレオ録音／Webカメラで正面から顔を撮影→OpenFaceでAction Unitを抽出／音声は書き起こし→訓練されたアノテーたによって拡張ISO-24617-2対話行為タグに基づく対話行為タグ付与を</p>
<p><strong>事前アンケート</strong></p>
<p>性格，意思決定の傾向，説得対象ドメインへの意識，現在の状況など</p>
<p><strong>事後アンケート</strong></p>
<p>年齢，性別，学歴，パートナーの有無，政治的見解など</p>
<p>ERICAへの印象，対話を通じての意識の変化なども用意</p>
<p><strong>追跡調査</strong></p>
<p>説得に対して合意した被験者に対して，1週間後にその合意を履行したか追跡調査</p>
<h2>まとめ</h2>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/h2xv1id7.png" alt=""></p>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/6nfsjg5n.png" alt=""></p>
<p>実際の行動の変容や意識の変容に関わらず，多くの人が対話中に説得へ合意</p>
<p>→実際に説得が効果的であったかを対話上の振る舞いから判定することは困難</p>
<p>意識変容から行動変容に映るにはハードルがある</p>
<p><strong>ロジスティック回帰による説得に有効な要素の分析</strong></p>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/hp4pnema.png" alt=""></p>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/kzssp4zq.png" alt=""></p>
<p><img src="/images/article/%E9%81%A0%E9%9A%94%E6%93%8D%E4%BD%9C%E3%82%A2%E3%83%B3%E3%83%89%E3%83%AD%E3%82%A4%E3%83%89%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB%E8%AA%AC%E5%BE%97%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E5%8F%8E%E9%9B%86%E3%81%A8%E5%88%86%E6%9E%90/bopuu7bx.png" alt=""></p>
<h2>その他（なぜ通ったか？等）</h2>
<p>倫理審査が必要らしい</p>
<p>顔とか映すデータを撮る場合は倫理審査のため，被験者に合意を得る必要がありそう</p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

知識源との一対多関係を有する対話コーパスによる発話生成のまとめ

【論文まとめ】知識源との一対多関係を有する対話コーパスによる発話生成

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: 知識源との一対多関係を有する対話コーパスによる発話生成</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, knowledge-base</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-3.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-3.pdf</a></p>
<p>データセット:</p>
<h2>概要</h2>
<p>ある文脈において利用可能な知識は一意とは限らず，実際に利用された知識意外にも利用可能な知識は存在する可能性がある</p>
<p>→　旅行代理店における対話を題材として，基準対話データセットを作成（知識が一意）</p>
<p>→　基準対話データセットを元にマルチラベル対話データセットを作成（知識が複数対応）</p>
<p>マルチラベル対話データセットを発話生成モデルの生成に用いると，多様で適切な応答が可能になることが示唆</p>
<h2>提案手法</h2>
<p><img src="/images/article/%E7%9F%A5%E8%AD%98%E6%BA%90%E3%81%A8%E3%81%AE%E4%B8%80%E5%AF%BE%E5%A4%9A%E9%96%A2%E4%BF%82%E3%82%92%E6%9C%89%E3%81%99%E3%82%8B%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AB%E3%82%88%E3%82%8B%E7%99%BA%E8%A9%B1%E7%94%9F%E6%88%90/4tpxgaoh.png" alt=""></p>
<p><img src="/images/article/%E7%9F%A5%E8%AD%98%E6%BA%90%E3%81%A8%E3%81%AE%E4%B8%80%E5%AF%BE%E5%A4%9A%E9%96%A2%E4%BF%82%E3%82%92%E6%9C%89%E3%81%99%E3%82%8B%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AB%E3%82%88%E3%82%8B%E7%99%BA%E8%A9%B1%E7%94%9F%E6%88%90/6h5aq4kv.png" alt=""></p>
<p><strong>基準対話データセットの構築</strong></p>
<p>クラウドソーシングを利用して，東京と大阪の観光地441件を対象に，観光地に関する対話おw収集</p>
<p>知識情報として，基礎情報はじゃらんからスクレイピング，レビュー情報にはGoogle Map APIを用いて取得</p>
<p>店発話は，知識情報をなるべく用いて発話し，使用できる知識情報源は最大で2つとした</p>
<p>相槌など知識情報を使用しない発話にはnoneのラベルを付与</p>
<p><strong>マルチラベルデータセットの構築</strong></p>
<p>利用していない知識は，「利用できない知識」ではなく「利用していない知識」</p>
<p>→　基準対話データセットから400件を抽出し，対象の発話において利用可能な知識をアノテーション</p>
<p>基準対話データセットの分布とマルチラベル対話データセットの分布を比較すると，多くの知識源が利用可能であるとわかる</p>
<h2>新規性</h2>
<p>一つの発話に対して複数の知識を対応させたマルチラベル対話データセットを作成</p>
<h2>実験</h2>
<p>Laboro製BERTを用いて利用可能な知識情報を選択</p>
<p>→　TransformerベースのNTT製大規模対話モデルhobbyistを用いて，知識情報を用いた応答生成</p>
<h2>まとめ</h2>
<p><img src="/images/article/%E7%9F%A5%E8%AD%98%E6%BA%90%E3%81%A8%E3%81%AE%E4%B8%80%E5%AF%BE%E5%A4%9A%E9%96%A2%E4%BF%82%E3%82%92%E6%9C%89%E3%81%99%E3%82%8B%E5%AF%BE%E8%A9%B1%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AB%E3%82%88%E3%82%8B%E7%99%BA%E8%A9%B1%E7%94%9F%E6%88%90/yy6uxb1q.png" alt=""></p>
<p>BERTを用いた知識選択</p>
<p>シングルtestが0.46，マルチtestが0.90</p>
<p>適切な知識が選択できていれば正解なので，マルチが高くなるのはそれはそう</p>
<p>マルチラベル対話データセットを使用した応答生成は，全て文脈として正しく，知識を反映した多様かつ適切な生成ができていた</p>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

分類モデルBERTによる不整合生成文の検出についてのまとめ

【論文まとめ】分類モデルBERTによる不整合生成文の検出について

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: 分類モデルBERTによる不整合生成文の検出について</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, NLI</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-4.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-4.pdf</a></p>
<p>データセット: 日本語SNLI</p>
<h2>概要</h2>
<p>ニューラル文章生成において，文章としては自然だが，内容が事実とは異なる**事実不整合（factual inconsistency）**が問題</p>
<p>→　BERTを用いて分類タスクをすることで生成文の事実不整合の検出を試みる</p>
<p>疑似データセットを作成し学習することで，不整合検出におけるドメイン適応の重要性を明らかにした</p>
<h2>提案手法</h2>
<p><img src="/images/article/%E5%88%86%E9%A1%9E%E3%83%A2%E3%83%87%E3%83%ABBERT%E3%81%AB%E3%82%88%E3%82%8B%E4%B8%8D%E6%95%B4%E5%90%88%E7%94%9F%E6%88%90%E6%96%87%E3%81%AE%E6%A4%9C%E5%87%BA%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/l81q3d7a.png" alt=""></p>
<p><img src="/images/article/%E5%88%86%E9%A1%9E%E3%83%A2%E3%83%87%E3%83%ABBERT%E3%81%AB%E3%82%88%E3%82%8B%E4%B8%8D%E6%95%B4%E5%90%88%E7%94%9F%E6%88%90%E6%96%87%E3%81%AE%E6%A4%9C%E5%87%BA%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/gnt0fefy.png" alt=""></p>
<p>特に数値データに対してロバストなモデルになるよう学習するため，知識に数値が含まれる「料金情報」「アクセス情報」「営業時間情報」の3カテゴリに絞って学習に用いる</p>
<p>疑似例の作成は数値や日付，駅名等を書き換えることで対応</p>
<p>料金，アクセス，営業時間情報で書き以下絵対象がお’異なるため，それぞれ小cleanなる改変方法でデータを書き換え</p>
<h2>新規性</h2>
<p>旅行ドメインに対して疑似データセットを作成し，それを用いて学習することで，SNLIデータセットを用いた学習に比べて，事実不整合の生成文の検出精度を向上</p>
<h2>実験</h2>
<p>データセット</p>
<p>事実整合性判定学習データセット</p>
<p>料金，アクセス，営業時間情報について作成した疑似生後売れ，不整合例を集めたデータセット</p>
<p>ニューラル生成文データセット</p>
<p>NTT製TransformerのHobbyistを用いて生成した文章を含むデータセット</p>
<p>Laboro社製BERTをファインチューニング</p>
<p>ベースラインデータセットとして，日本語SNLIデータセット</p>
<p>recallが最良のエポックの重みを最良モデルとして評価</p>
<p>recallが低いモデルは大量の不整合を見逃していることになるため，目的を果たしていないと考えたから</p>
<h2>まとめ</h2>
<p>提案手法（疑似例を用いたデータセット）は事実不整合検出に有効である</p>
<p>正解できなかった不整合例の内訳</p>
<p>料金7件／アクセス1件／営業時間16件</p>
<p>→　テンプレートの拡充が必要か？</p>
<h2>その他（なぜ通ったか？等）</h2>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

Transformerによるhallucination errorの事後修正のまとめ

【論文まとめ】Transformerによるhallucination errorの事後修正

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Transformerによるhallucination errorの事後修正</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-5.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-5.pdf</a></p>
<p>データセット:</p>
<h2>概要</h2>
<p>文生成時に与えた外部知識と異なる内容の発話文を生成してしまうhallucination errorが課題</p>
<p>→　hallucination errorを含むデータを疑似的に作成し，BARTやTransformerを用いて事後修正を試みる</p>
<p>1.6BのTransformerでは52件中29件の事後修正をした</p>
<h2>提案手法</h2>
<p><img src="/images/article/Transformer%E3%81%AB%E3%82%88%E3%82%8Bhallucination-error%E3%81%AE%E4%BA%8B%E5%BE%8C%E4%BF%AE%E6%AD%A3/seiwj31o.png" alt=""></p>
<p>一つの発話文と知識源のペアをテンプレートとして複数のデータを疑似的に作成することで，各知識とカテゴリごとに40000件の発話ぶんと知識源のペアを作成</p>
<p>→　「営業時間」「アクセス」「料金」に関するエンティティを書き換えることで疑似的なhallcination errorを含んだ文を作成</p>
<p>ニューラル生成モデルは事実と無関係な文章を生成する場合がある</p>
<p>→　エンティティの書き換えだけではなく，無関係な発話を含んだデータも作成</p>
<h2>新規性</h2>
<p>hallucination errorを含むデータを疑似的に作成することで，ニューラルモデルによる事後修正の試み</p>
<h2>実験</h2>
<p>NTT製japanese-dialog-transormers（1.6B）</p>
<p>黒橋研製日本語BART（0.12B）</p>
<p>hallucination error修正学習データセットには，無関係な発話を含む（add_unrelated）とそれを含まない（baseline）データセットを二種類用意</p>
<p>※知識源とHEを[SEP]でつなげるが，普通はBARTは対応していないのでfairseq上ではFusion-in-DecoderをBARTに実装する必要があるらしい</p>
<p>評価指標</p>
<p>Faithfulness／BLEU-4 score</p>
<h2>まとめ</h2>
<p><img src="/images/article/Transformer%E3%81%AB%E3%82%88%E3%82%8Bhallucination-error%E3%81%AE%E4%BA%8B%E5%BE%8C%E4%BF%AE%E6%AD%A3/kl305xy2.png" alt=""></p>
<p><img src="/images/article/Transformer%E3%81%AB%E3%82%88%E3%82%8Bhallucination-error%E3%81%AE%E4%BA%8B%E5%BE%8C%E4%BF%AE%E6%AD%A3/76t0zx7b.png" alt=""></p>
<p>BLEU-4は「数値が異なる」みたいな単純なhallucination errorは正しく評価できていないのでは？</p>
<p>BARTとTransformerの大きな精度差はおそらくパラメータ数と事前学習時のデータセットの差なのでは？</p>
<p><img src="/images/article/Transformer%E3%81%AB%E3%82%88%E3%82%8Bhallucination-error%E3%81%AE%E4%BA%8B%E5%BE%8C%E4%BF%AE%E6%AD%A3/p9noavar.png" alt=""></p>
<p>知識源に出現するエンティティの順序とモデルの主直に出現するエンティティの順序が同じ</p>
<p>→　エンティティが出現する順序に注目して書き換えを行っている可能性</p>
<p>正しくエンティティの関係を理解できていない？</p>
<p>add_relatedでは発話ぶんにある一文を削除する傾向が見られた</p>
<h2>その他（なぜ通ったか？等）</h2>
<p>今後の展望</p>
<p>HE修正学習データセットの基となるデータの収集</p>
<p>書き換えルールなど作成方法の拡張の必要性</p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

Prompt-Tuning による個性を持った対話システムの構築のまとめ

【論文まとめ】Prompt-Tuning による個性を持った対話システムの構築

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Prompt-Tuning による個性を持った対話システムの構築</p>
<p>研究会: NLP</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, persona, Prompt-Tuning</p>
<p>URL: <a href="https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-1.pdf">https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-1.pdf</a></p>
<p>データセット: PERSONA-CHAT, DailyDialog</p>
<h2>概要</h2>
<p>与えられたキャラクター設定（ペルソナ）を考慮した応答生成をする雑談対話システムの構築</p>
<p>一貫した発話をしない対話システムは魅力的ではない</p>
<p>→　一貫性を持たせるためペルソナに着目</p>
<p>Prompt-Tuningを行うことで，Fine-Tuningに比べて学習時間と計算資源を削減しつつ，より自然で個性を持ったシステムの構築</p>
<h2>提案手法</h2>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/gur4p6lh.png" alt=""></p>
<p>ペルソナ情報を埋め込むトークン（Persona Info Token）用のEmbedding層を追加したTransformerモデルを提案</p>
<p>この新たに追加したEmbedding層のパラメータを更新する</p>
<h2>新規性</h2>
<p>事前学習済みモデルのパラメータを更新しないPrompt-Tuningによって学習</p>
<p>→　学習に要する時間と計算資源の削減が可能</p>
<p>数百個の対話ペアからなる小規模なデータセットであっても，個性を持ったシステムの構築が可能</p>
<h2>実験</h2>
<p>データセット：Persona-Chat／DailyDialog</p>
<p>1往復の2初話ずつに分割→これを対話ペア</p>
<p>使用するペルソナ：Persona-chatにおける対話ペア数の多い上位3種類のペルソナのみ</p>
<p>ペルソナとは無関係な対話ペアとしてDailyDialogを使用</p>
<p>→　TopicがRelationshipの対話ペアを使用</p>
<p>中でも発話と応答の両方の長さが50文字以下の対話ペアを一定の比率で学習用データセットに混ぜる</p>
<p>→　なぜ？：短い発話やペルソナと無関係な一般的な発話おデータセットに取り込む</p>
<p>ペルソナ文を与える際，長さ&#x3C;200の時は，200になるまでペルソナぶんを繰り返し並べる</p>
<p>生成の戦略にはGreedy searchを採用</p>
<h2>まとめ</h2>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/4nnv2ixn.png" alt=""></p>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/eoo61yjd.png" alt=""></p>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/tebl4dqq.png" alt=""></p>
<p><img src="/images/article/Prompt-Tuning-%E3%81%AB%E3%82%88%E3%82%8B%E5%80%8B%E6%80%A7%E3%82%92%E6%8C%81%E3%81%A3%E3%81%9F%E5%AF%BE%E8%A9%B1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89/wqq0hd5g.png" alt=""></p>
<p>自動評価時：distinct-{1, 2}</p>
<p>GPT-J-6BをPrompt-Tuningしたモデルが最も多様性のある生成</p>
<p>Fine-Tuningの時は入力にペルソナを孵化しない方が良い性能</p>
<p>人手評価時</p>
<p>全ての項目においてGPT-J-6BをPrompt-Tuningしたモデルの評価が高い</p>
<h2>その他（なぜ通ったか？等）</h2>
<p>LINEとの共同研究</p>
<p>AI-Bridging cloudを用いてA100（40GB）を使用した実験</p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
</blockquote>

Internet-Augmented Dialogue Generationのまとめ

【論文まとめ】Internet-Augmented Dialogue Generation

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Internet-Augmented Dialogue Generation</p>
<p>研究会: ACL</p>
<p>年度: 2022</p>
<p>キーワード: dialogue system, Internet-Augmented</p>
<p>URL: <a href="https://aclanthology.org/2022.acl-long.579.pdf">https://aclanthology.org/2022.acl-long.579.pdf</a></p>
<p>DOI: <a href="http://dx.doi.org/10.18653/v1/2022.acl-long.579">http://dx.doi.org/10.18653/v1/2022.acl-long.579</a></p>
<p>データセット: Topical-Chat, Wizard of Wikipedia</p>
<h2>概要</h2>
<p>検索クエリを生成し，Bing検索の結果をもとに応答生成を行うことで，大規模言語モデルの抱えるhallucinationの問題を軽減しつつ，up-to-the-minute relavent informationを導入した生成を可能にする．</p>
<p>インターネットによるaugmentationを行わないモデルやFAISSベースのモデルよりも，search-queryのモデルは優れた会話能力を達成した．</p>
<h2>提案手法</h2>
<p>提案手法 (Search Engine-Augmented Generation) の流れ</p>
<ol>
<li>コンテクストから検索クエリを生成</li>
<li><span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: 0;" xmlns="http://www.w3.org/2000/svg" width="2.009ex" height="1.545ex" role="img" focusable="false" viewBox="0 -683 888 683" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-1-TEX-I-1D441" d="M234 637Q231 637 226 637Q201 637 196 638T191 649Q191 676 202 682Q204 683 299 683Q376 683 387 683T401 677Q612 181 616 168L670 381Q723 592 723 606Q723 633 659 637Q635 637 635 648Q635 650 637 660Q641 676 643 679T653 683Q656 683 684 682T767 680Q817 680 843 681T873 682Q888 682 888 672Q888 650 880 642Q878 637 858 637Q787 633 769 597L620 7Q618 0 599 0Q585 0 582 2Q579 5 453 305L326 604L261 344Q196 88 196 79Q201 46 268 46H278Q284 41 284 38T282 19Q278 6 272 0H259Q228 2 151 2Q123 2 100 2T63 2T46 1Q31 1 31 10Q31 14 34 26T39 40Q41 46 62 46Q130 49 150 85Q154 91 221 362L289 634Q287 635 234 637Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="1D441" xlink:href="#MJX-1-TEX-I-1D441"></use></g></g></g></svg></mjx-container></span>個のドキュメントを取得</li>
<li>FiD (Fusion in Decoder)モデルによって，個々のドキュメントをエンコードし，対話コンテクストと結合して，応答を生成</li>
</ol>
<p>インターネットへのアクセスの手法</p>
<ol>
<li><strong>FAISS: distributed approximate nearest-neighbor databaseにストアすることでページをキャッシュ</strong>
<ol>
<li>これがベースライン的な手法</li>
<li>Common CrawlのデータをFAISSストアして検索をかける</li>
<li>ベースライン手法
<ol>
<li>RAG (Retrieval Augmented Generation)</li>
<li>FiD (Fusion in Decoder)</li>
<li>FiD-RAG</li>
<li>FAISS + Search Query-based Retrieval</li>
</ol>
</li>
</ol>
</li>
<li><strong>インターネットに直接アクセスしてページを取得</strong>
<ol>
<li>FAISS-basedの手法の課題を解決するため
<ol>
<li>リアルタイムなウェブ情報に更新するのが難しい</li>
<li>ローカルのFAISSにストアできるウェブページの数には限界がある</li>
<li>インターネット検索エンジンがチューニングしているハイクオリティなページのランキングの利点を活かせない</li>
</ol>
</li>
</ol>
</li>
</ol>
<h2>新規性</h2>
<ul>
<li>インターネットにアクセスすることで，常に数え切れないほどの最新の情報にアクセスし，それを取り入れた応答生成を可能にする</li>
<li>knowledge regulationなどを行うことで，dynamic state of the worldに対応する
<ul>
<li>大規模言語モデルは，知識をweightsの中で記憶してしまうため，hallucinationが起きやすい→これを正則化によってよりうまく情報をcopyするように学習させる</li>
</ul>
</li>
<li>長い目で見れば機械学習の手法は実世界とのインタラクションが求められるが，まず自然な第一ステップとしてインターネットへのアクセスをモデル化してみた．</li>
</ul>
<h2>実験</h2>
<p>Wizard of the Internet (WizInt)という新たなタスクで評価</p>
<p>T5, BART-large, BlenderBotをファインチューニング</p>
<p>Retrieval-augmented methodは5つのドキュメント (<span class="math math-inline"><mjx-container class="MathJax" jax="SVG"><svg style="vertical-align: -0.186ex;" xmlns="http://www.w3.org/2000/svg" width="6.157ex" height="1.731ex" role="img" focusable="false" viewBox="0 -683 2721.6 765" xmlns:xlink="http://www.w3.org/1999/xlink"><defs><path id="MJX-2-TEX-I-1D441" d="M234 637Q231 637 226 637Q201 637 196 638T191 649Q191 676 202 682Q204 683 299 683Q376 683 387 683T401 677Q612 181 616 168L670 381Q723 592 723 606Q723 633 659 637Q635 637 635 648Q635 650 637 660Q641 676 643 679T653 683Q656 683 684 682T767 680Q817 680 843 681T873 682Q888 682 888 672Q888 650 880 642Q878 637 858 637Q787 633 769 597L620 7Q618 0 599 0Q585 0 582 2Q579 5 453 305L326 604L261 344Q196 88 196 79Q201 46 268 46H278Q284 41 284 38T282 19Q278 6 272 0H259Q228 2 151 2Q123 2 100 2T63 2T46 1Q31 1 31 10Q31 14 34 26T39 40Q41 46 62 46Q130 49 150 85Q154 91 221 362L289 634Q287 635 234 637Z"></path><path id="MJX-2-TEX-N-3D" d="M56 347Q56 360 70 367H707Q722 359 722 347Q722 336 708 328L390 327H72Q56 332 56 347ZM56 153Q56 168 72 173H708Q722 163 722 153Q722 140 707 133H70Q56 140 56 153Z"></path><path id="MJX-2-TEX-N-35" d="M164 157Q164 133 148 117T109 101H102Q148 22 224 22Q294 22 326 82Q345 115 345 210Q345 313 318 349Q292 382 260 382H254Q176 382 136 314Q132 307 129 306T114 304Q97 304 95 310Q93 314 93 485V614Q93 664 98 664Q100 666 102 666Q103 666 123 658T178 642T253 634Q324 634 389 662Q397 666 402 666Q410 666 410 648V635Q328 538 205 538Q174 538 149 544L139 546V374Q158 388 169 396T205 412T256 420Q337 420 393 355T449 201Q449 109 385 44T229 -22Q148 -22 99 32T50 154Q50 178 61 192T84 210T107 214Q132 214 148 197T164 157Z"></path></defs><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mi"><use data-c="1D441" xlink:href="#MJX-2-TEX-I-1D441"></use></g><g data-mml-node="mo" transform="translate(1165.8,0)"><use data-c="3D" xlink:href="#MJX-2-TEX-N-3D"></use></g><g data-mml-node="mn" transform="translate(2221.6,0)"><use data-c="35" xlink:href="#MJX-2-TEX-N-35"></use></g></g></g></svg></mjx-container></span>) を使用</p>
<p>デコーダ</p>
<p>ビームサーチ with ビームサイズ = 3</p>
<p>最小sequence length = 20</p>
<p>beam blocking ngram = 3</p>
<p>評価指標</p>
<p>PPL</p>
<p>F1</p>
<p>gold responseとのオーバーラップを評価</p>
<p>Knowledge F1 (KF1)</p>
<p>モデルの応答と人間がデータ収集時に使った知識のオーバーラップを評価</p>
<p>→ F1とKF1はトレードオフ</p>
<p>KF1が高く，F1が低いと知識には富んでいるが，会話能力は低</p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/l7s7sphq.png" alt=""></p>
<p>Table 3からBART-largeを全てのモデルのPLMベースとして採用</p>
<h2>まとめ</h2>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/ixgpnink.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/128zhnye.png" alt=""></p>
<p>対話生成のプロセスにインターネットの情報を与えると，人との対話においてより事実との不整合の少ない情報を生成することができる</p>
<h2>その他（なぜ通ったか？等）</h2>
<h3>Datasetの概要</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/c1e96cpy.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/upaxz8vo.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/w6dyemsg.png" alt=""></p>
<p>Wizard vs apprentice (Figure 3がペルソナ設定のインターフェース)</p>
<p>Wizardは対話しながらネット検索ができる</p>
<p>→検索された結果をアノテーションし，適切な検索結果が得られなければもう一度検索でき，検索結果を無視することも可能</p>
<p>Apprenticeはペルソナを選び，そのもとでチャット</p>
<p>ペルソナはPersona-ChatとTopical-Chatデータセットに含まれるペルソナから選択</p>
<h3>データ収集インターフェース</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/z4f9ivph.png" alt=""></p>
<h3>対話例</h3>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/xaxs9n1p.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/7wk8s9an.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/gktrd3cq.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/5onmd3g5.png" alt=""></p>
<p><img src="/images/article/Internet-Augmented-Dialogue-Generation/el45rvtq.png" alt=""></p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@inproceedings{komeili-etal-2022-internet,</p>
</blockquote>
<p>title = "{I}nternet-Augmented Dialogue Generation",
author = "Komeili, Mojtaba and
Shuster, Kurt and
Weston, Jason",
booktitle = "Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = may,
year = "2022",
address = "Dublin, Ireland",
publisher = "Association for Computational Linguistics",
url = "<a href="https://aclanthology.org/2022.acl-long.579">https://aclanthology.org/2022.acl-long.579</a>",
doi = "10.18653/v1/2022.acl-long.579",
pages = "8460--8478",
abstract = "The largest store of continually updating knowledge on our planet can be accessed via internet search. In this work we study giving access to this information to conversational agents. Large language models, even though they store an impressive amount of knowledge within their weights, are known to hallucinate facts when generating dialogue (Shuster et al., 2021); moreover, those facts are frozen in time at the point of model training. In contrast, we propose an approach that learns to generate an internet search query based on the context, and then conditions on the search results to finally generate a response, a method that can employ up-to-the-minute relevant information. We train and evaluate such models on a newly collected dataset of human-human conversations whereby one of the speakers is given access to internet search during knowledgedriven discussions in order to ground their responses. We find that search-query based access of the internet in conversation provides superior performance compared to existing approaches that either use no augmentation or FAISS-based retrieval (Lewis et al., 2020b).",
}</p><style>
mjx-container[jax="SVG"] {
  direction: ltr;
}

mjx-container[jax="SVG"] > svg {
  overflow: visible;
  min-height: 1px;
  min-width: 1px;
}

mjx-container[jax="SVG"] > svg a {
  fill: blue;
  stroke: blue;
}

mjx-container[jax="SVG"][display="true"] {
  display: block;
  text-align: center;
  margin: 1em 0;
}

mjx-container[jax="SVG"][display="true"][width="full"] {
  display: flex;
}

mjx-container[jax="SVG"][justify="left"] {
  text-align: left;
}

mjx-container[jax="SVG"][justify="right"] {
  text-align: right;
}

g[data-mml-node="merror"] > g {
  fill: red;
  stroke: red;
}

g[data-mml-node="merror"] > rect[data-background] {
  fill: yellow;
  stroke: none;
}

g[data-mml-node="mtable"] > line[data-line], svg[data-table] > g > line[data-line] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > rect[data-frame], svg[data-table] > g > rect[data-frame] {
  stroke-width: 70px;
  fill: none;
}

g[data-mml-node="mtable"] > .mjx-dashed, svg[data-table] > g > .mjx-dashed {
  stroke-dasharray: 140;
}

g[data-mml-node="mtable"] > .mjx-dotted, svg[data-table] > g > .mjx-dotted {
  stroke-linecap: round;
  stroke-dasharray: 0,140;
}

g[data-mml-node="mtable"] > g > svg {
  overflow: visible;
}

[jax="SVG"] mjx-tool {
  display: inline-block;
  position: relative;
  width: 0;
  height: 0;
}

[jax="SVG"] mjx-tool > mjx-tip {
  position: absolute;
  top: 0;
  left: 0;
}

mjx-tool > mjx-tip {
  display: inline-block;
  padding: .2em;
  border: 1px solid #888;
  font-size: 70%;
  background-color: #F8F8F8;
  color: black;
  box-shadow: 2px 2px 5px #AAAAAA;
}

g[data-mml-node="maction"][data-toggle] {
  cursor: pointer;
}

mjx-status {
  display: block;
  position: fixed;
  left: 1em;
  bottom: 1em;
  min-width: 25%;
  padding: .2em .4em;
  border: 1px solid #888;
  font-size: 90%;
  background-color: #F8F8F8;
  color: black;
}

foreignObject[data-mjx-xml] {
  font-family: initial;
  line-height: normal;
  overflow: visible;
}

mjx-container[jax="SVG"] path[data-c], mjx-container[jax="SVG"] use[data-c] {
  stroke-width: 3;
}
</style>