論文情報

タイトル: 分類モデルBERTによる不整合生成文の検出について

研究会: NLP

年度: 2022

キーワード: dialogue system, NLI

データセット: 日本語SNLI

概要

ニューラル文章生成において，文章としては自然だが，内容が事実とは異なる**事実不整合（factual inconsistency）**が問題

→　BERTを用いて分類タスクをすることで生成文の事実不整合の検出を試みる

疑似データセットを作成し学習することで，不整合検出におけるドメイン適応の重要性を明らかにした

特に数値データに対してロバストなモデルになるよう学習するため，知識に数値が含まれる「料金情報」「アクセス情報」「営業時間情報」の3カテゴリに絞って学習に用いる

疑似例の作成は数値や日付，駅名等を書き換えることで対応

料金，アクセス，営業時間情報で書き以下絵対象がお’異なるため，それぞれ小cleanなる改変方法でデータを書き換え

旅行ドメインに対して疑似データセットを作成し，それを用いて学習することで，SNLIデータセットを用いた学習に比べて，事実不整合の生成文の検出精度を向上

データセット

事実整合性判定学習データセット

料金，アクセス，営業時間情報について作成した疑似生後売れ，不整合例を集めたデータセット

ニューラル生成文データセット

NTT製TransformerのHobbyistを用いて生成した文章を含むデータセット

Laboro社製BERTをファインチューニング

ベースラインデータセットとして，日本語SNLIデータセット

recallが最良のエポックの重みを最良モデルとして評価

recallが低いモデルは大量の不整合を見逃していることになるため，目的を果たしていないと考えたから

提案手法（疑似例を用いたデータセット）は事実不整合検出に有効である

正解できなかった不整合例の内訳

料金7件／アクセス1件／営業時間16件

→　テンプレートの拡充が必要か？