本記事において使用される図表は，原著論文内の図表を引用しています．
また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．
論文情報
タイトル: 遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析
研究会: NLP
年度: 2022
キーワード: dialogue system
URL: https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/B2-2.pdf
データセット:
概要
対話を通じてユーザに行動変容を促す説得対話システムの研究を行うため，マルチモーダル情報を含む説得対話コーパスの収録
音声と顔画像から得られる特徴量を含む説得対話コーパス
収集したコーパスと合わせて前後にアンケート
被験者に対して追跡調査を行い，実際に説得により行動が変容したかも調査
提案手法
5〜8分の対話を収録
3つのドメインについて収集：「運動の促し」「インターネット依存の改善」「慈善事業団体への募金の促し」
Woz対話であることを伏せて，ERICAで開発された新しいシステムと対話をしてもらうという目的と被験者に伝えた
効果的な説得対話の戦略（論文参照）に基づいてERICAが発話
また以下の流れで対話
- お互いに挨拶
- 会話テーマの提示（ドメイン）
- 会話テーマに対する被験者の意識を尋ねる
- 相手の反応に応じて説得
- 5分経過後，流れに応じて対話終了
新規性
説得対話における非言語情報の活用を指向し，遠隔操作Androidを用いたWoz対話によるcleanマルチモーダル説得対話コーパスの収集
先行研究では主に対話中の説得にフォーカスしているが，本論文では追跡調査による実際の行動変容を調査
実験
収録環境
説得マイクでステレオ録音／Webカメラで正面から顔を撮影→OpenFaceでAction Unitを抽出／音声は書き起こし→訓練されたアノテーたによって拡張ISO-24617-2対話行為タグに基づく対話行為タグ付与を
事前アンケート
性格，意思決定の傾向，説得対象ドメインへの意識，現在の状況など
事後アンケート
年齢，性別，学歴，パートナーの有無，政治的見解など
ERICAへの印象，対話を通じての意識の変化なども用意
追跡調査
説得に対して合意した被験者に対して，1週間後にその合意を履行したか追跡調査
まとめ
実際の行動の変容や意識の変容に関わらず，多くの人が対話中に説得へ合意
→実際に説得が効果的であったかを対話上の振る舞いから判定することは困難
意識変容から行動変容に映るにはハードルがある
ロジスティック回帰による説得に有効な要素の分析
その他（なぜ通ったか？等）
倫理審査が必要らしい
顔とか映すデータを撮る場合は倫理審査のため，被験者に合意を得る必要がありそう
