Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understandingのまとめ

【論文まとめ】Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding</p>
<p>研究会: EMNLP</p>
<p>年度: 2023</p>
<p>キーワード: LLM, multi-modal, Demo</p>
<p>URL: <a href="https://arxiv.org/pdf/2306.02858.pdf">https://arxiv.org/pdf/2306.02858.pdf</a></p>
<p>DOI: <a href="https://doi.org/10.48550/arXiv.2306.02858">https://doi.org/10.48550/arXiv.2306.02858</a></p>
<p>コード: <a href="https://github.com/damo-nlp-sg/video-llama">https://github.com/damo-nlp-sg/video-llama</a></p>
<p>データセット: MSR-VTT, MSVD, VideoInstruct, ActivityNet-QA</p>
<h2>概要</h2>
<p>ビデオ中の動画と音声を理解できるVideo-LLaMAを提案</p>
<p>Video Q-Former (BLIP2)とAudio Q-Former (Imagebind)を用いて，動画のシーン間の変化を捉えたり，audio-visualな情報を統合したりする</p>
<p>Video-LLaMAは動画を理解して，ビデオ中の動画や音声に基づいた意味のある応答を生成できる</p>
<p><a href="https://huggingface.co/spaces/DAMO-NLP-SG/Video-LLaMA">デモ on huggingface</a></p>
<h2>提案手法</h2>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/sxpfrxf6.png" alt=""></p>
<h3>Architecture</h3>
<p>図の通り，Vision-Language BranchとAudio-Language Branchに分岐</p>
<p><strong>Vision-Language Branch</strong></p>
<ol>
<li>各フレームをフリーズしたBLIP2に入力（EVA-CLIPのViT-G/14とpre-trained Q-Former）</li>
<li>positional embeddingを適用</li>
<li>Video Q-Former</li>
<li>線形層</li>
<li>LLMへ</li>
</ol>
<p><strong>Audio-Language Branch</strong></p>
<ol>
<li>2秒ごとに音声をクリップ</li>
<li>各クリップ音声を128 binsのメルスペクトログラムに変換</li>
<li>Imagebind (as Audio Encoder)</li>
<li>Imagebindの出力に対して，learnableなpositional embeddingを加算</li>
<li>Audio Q-former</li>
<li>線形層</li>
<li>LLMへ</li>
</ol>
<h3>Multi-branch Cross-modal Training</h3>
<p><strong>Vision-Language Branchの学習</strong></p>
<p>事前学習→インストラクションチューニング</p>
<p>事前学習データセット：Webvid-2M，CC595k（CC3Mからフィルタされたもの）</p>
<p>インストラクションデータセット：MIniGPT4，LLaVA，Video-Chat</p>
<p>インストラクションチューニングすると，Video-LLaMAは良い能力を発揮</p>
<p><strong>Audio-Language Branchの学習</strong></p>
<p>audio-textなデータが少ないことが課題</p>
<p>→<strong>異なるモダリティを同じ埋め込み空間にalignmentするImagebindをAudio Encoderとして用い，visual-textデータを使って学習</strong></p>
<p>音声データで学習しないが，推論時は音声を理解することができる</p>
<h2>新規性</h2>
<ul>
<li>与えられたビデオの動画と音声を同時に処理して，会話ができるVideo-LLaMAを提案</li>
<li>vision-language alignmentとaudio-language alignmentの両方を達成するmulti-branch cross-modal pre-training frameworkを提案</li>
</ul>
<h2>Examples</h2>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/4pkwtgeu.png" alt=""></p>
<p>動画と音声の両方を理解できている例</p>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/ke9lg4al.png" alt=""></p>
<p>Temporal dynamicsを理解できている例</p>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/dkti6vzg.png" alt=""></p>
<p>staticな画像を理解できている例</p>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/55eess6q.png" alt=""></p>
<p>一般的な知識を示せている例</p>
<p>chat形式の例は論文のappendixを参照</p>
<h2>まとめ</h2>
<p>動画と音声を理解できるVideo-LLaMAを提案</p>
<p>Vision-Language BranchとAudio-Language Branchで分岐して，動画と音声を理解するアーキテクチャを提案し，Imagebindをvisual-textデータで学習することでaudio-textデータの少なさをカバー</p>
<p>Hallcinationがあることや，映画やテレビのような長い動画を処理できないことがlimitaitions</p>
<h2>その他</h2>
<p><img src="/images/article/Video-LLaMA-An-Instruction-tuned-Audio-Visual-Language-Model-for-Video-Understanding/tq9elvwf.png" alt=""></p>
<p>ポピュラーなマルチモーダルLLM</p>
<p><strong>所感</strong></p>
<p>Imagebindで同じ埋め込み空間に異なるモダリティの埋め込みを押し込んでいるのを利用して，audio-textデータの少なさをカバーしているのが上手いのだろうが，それでうまくいくことにちょっと気持ち悪さが残った（個人的に，大規模なaudio-textデータ構築へのモチベがより大きくなるなど）</p>
<p>素人感想だと，Audio-Language BranchにImagebindを使うのなら，Vision-Lannguage BranchもImagebindで良いのでは？と思った</p>
<p>とはいえ，temporalな情報をLLMで扱う手法はかなり参考になる</p>
<h2>次読みたい論文</h2>
<p><strong><a href="https://arxiv.org/abs/2305.05665">ImageBind: One Embedding Space To Bind Them All</a></strong></p>
<p><strong><a href="https://arxiv.org/abs/2304.12995">AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head</a></strong></p>
<h2>引用</h2>
<blockquote>
<p>@article{zhang2023video,
title={Video-llama: An instruction-tuned audio-visual language model for video understanding},
author={Zhang, Hang and Li, Xin and Bing, Lidong},
journal={arXiv preprint arXiv:2306.02858},
year={2023}
}</p>
</blockquote>

Connecting Speech Encoder and Large Language Model for ASRのまとめ

【論文まとめ】Connecting Speech Encoder and Large Language Model for ASR

<p>本記事において使用される図表は，原著論文内の図表を引用しています．</p>
<p>また，本記事の内容は，著者が論文を読み，メモとして短くまとめたものになります．必ずしも内容が正しいとは限らないこと，ご了承ください．</p>
<h2>論文情報</h2>
<p>タイトル: Connecting Speech Encoder and Large Language Model for ASR</p>
<p>研究会: arxiv</p>
<p>年度: 2023</p>
<p>キーワード: ASR, LLM</p>
<p>URL: <a href="https://arxiv.org/pdf/2309.13963.pdf">https://arxiv.org/pdf/2309.13963.pdf</a></p>
<p>DOI: <a href="https://doi.org/10.48550/arXiv.2309.13963">https://doi.org/10.48550/arXiv.2309.13963</a></p>
<p>データセット: LibriSpeech, Common Voice, GigaSpeech</p>
<h2>概要</h2>
<p>ASRモデルのエンコーダとLLMを結合して，ASRモデルを構築（Whisper → Vicuna）</p>
<p>結合の方法として，全結合層，マルチヘッドクロスアテンシション，Q-Formerの3種類を試し，性能を比較</p>
<p>→ 組み合わせとしては，Wisper large-v2，80個の学習クエリを用いたQ-FormerとVicuna 13Bの組み合わせが良さそう</p>
<p>→ また，LLMのモデルサイズよりも，ASRモデルの性能の方がクリティカル（Whisper large-v2 > medium > base）</p>
<p>Seg-QF (Segment-level Q-Former)を提案</p>
<p>→ ASRモデルに入力可能な系列長を超えて処理ができる（i.e., Whisperは30sの制限）</p>
<p>→ 長い音声入力に対して，うまくいけばASR性能を向上できるが，入力が長すぎるとLLMのhallucinationを悪化させることも観測</p>
<h2>提案手法</h2>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/1iwl044a.png" alt=""></p>
<p>ASRモデルエンコーダとLLMの結合に3種類を試す</p>
<ol>
<li>全結合層
<ol>
<li>Conv1d → 線形層 → ReLU → 線形層</li>
</ol>
</li>
<li>マルチヘッドクロスアテンション
<ol>
<li>Conv1d → マルチヘッドクロスアテンション</li>
<li>クエリにはエンコーダの出力をConv1dにかけた埋め込み，キーとバリューはVicunaのテキスト埋め込み</li>
</ol>
</li>
<li>Q-Former</li>
</ol>
<h3>Seg-QF (Segment-level Q-Former)</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/q4cga6ej.png" alt=""></p>
<p>ASRの入力系列長を超えた時に，セグメントごとに処理をするアーキテクチャ</p>
<p>各セグメントの位置情報を埋め込むため，sinusoid positional encodingをASRエンコーダの出力に対して適用</p>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/sh6r2b3c.png" alt=""></p>
<p>数式としてはこんな感じで，最後に各セグメントのQ-Formerの出力をconcatして，LLMに渡す</p>
<h2>新規性</h2>
<ul>
<li>ASRモデルとLLMを結合してASRモデルを構築する際，2つのモデルの結合方法として3種類を調査
<ol>
<li>全結合層</li>
<li>マルチヘッドクロスアテンション</li>
<li>Q-Former</li>
</ol>
</li>
<li>Whisper large-v2 + Q-Former + Vicuna 13BでWhisper large-v2よりもWERが向上</li>
<li>ASRモデルの入力可能系列を超えても処理ができるSegment-level Q-Formerを提案
<ul>
<li>長い音声に対してもASRが可能に．ただし，長すぎる音声はLLMのhallucinationが悪化する課題あり</li>
</ul>
</li>
</ul>
<h2>実験</h2>
<h3>結合方法の比較</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/p3kesn55.png" alt=""></p>
<p>（多分FCのパラメータ数はどっちかがミス？）</p>
<p>全結合層かQ-Formerを用いるとトークンが多い方がWERは良い</p>
<p>マルチヘッドアテンション（CA）は，パラメータ数が多すぎるし，しかも性能も悪い</p>
<p>→ <strong>モデル検証には，Q-Formerが採用</strong></p>
<h3>Q-Formerの学習するクエリ数の調査</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/fdfvl51a.png" alt=""></p>
<p>30s以内の音声に対しては，80まではWERが改善し続けている</p>
<h3>LLMとASRモデルのエンコーダのサイズの調査</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/lo6a096t.png" alt=""></p>
<p>Whisper large-v2を使うと，LLMは7bでも良い性能が出ている</p>
<p>→ LLMのサイズより，speech encoderの性能の方が重要そう</p>
<h3>4000h大規模訓練データで学習後の性能評価</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/smbe1p7e.png" alt=""></p>
<p>学習時はLibriSpeech, Common Voice, GigaSpeechで学習しているため，これらはin-domainで，CallHome, Swichboardがout-of-domain</p>
<p>in-domainでも，ベースラインのWhisper large-v2より性能が高くなっている</p>
<p>out-of-domainだと，最大で12％のWERの改善が見られている</p>
<h3>Segment-level Q-Formerの性能評価</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/b7s5s5ua.png" alt=""></p>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/e5h86q3t.png" alt=""></p>
<p>30sより長い音声で推論する時，ファインチューニングしていないと性能が悪い</p>
<p>長い音声でファインチューニングすると，全結合層かQ-Formerを用いると，長い音声でも良い性能を示せている</p>
<p>ただし，120sまで極端に長くなると，性能が悪くなる</p>
<p>長時間の音声に対しては，デコードがうまくいくとWERは良いが（Fig. 3.），出力が繰り返されたり，長いチャンクが欠落するケースが多く観測される</p>
<h2>その他</h2>
<h3>学習方法</h3>
<p><img src="/images/article/Connecting-Speech-Encoder-and-Large-Language-Model-for-ASR/uzgui2mw.png" alt=""></p>
<p>音声のない部分をマスクしてゼロパディングすると，Q-Formerが音声の終わりの方を無視するように学習してしまう問題が起きる</p>
<p>→ ランダムで音声を結合することで，deletion error rateとWERを改善できたため，論文中の学習はrandom audio concatenationのストラテジーで学習している</p>
<h2>次読みたい論文</h2>
<h2>引用</h2>
<blockquote>
<p>@misc{yu2023connecting,
title={Connecting Speech Encoder and Large Language Model for ASR},
author={Wenyi Yu and Changli Tang and Guangzhi Sun and Xianzhao Chen and Tian Tan and Wei Li and Lu Lu and Zejun Ma and Chao Zhang},
year={2023},
eprint={2309.13963},
archivePrefix={arXiv},
primaryClass={<a href="http://eess.as/">eess.AS</a>}
}</p>
</blockquote>