日本語動画AIの評価基盤「NARU Bench」公開。長尺・文脈理解の限界を可視化

発表内容のポイント

• 147時間の日本語動画から作成した1,481問の多肢選択問題でAIを評価
• テキストの書き起こしや事前知識だけでは正答できない、映像理解を求める設計
• 既存の有力モデルでも正答率は低水準にとどまり、人間とのギャップが浮き彫りに

発表の背景

動画を解析するマルチモーダルモデルは進化しているものの、数時間に及ぶ映像から文脈の変化を捉えることや、日本語特有の「相槌」に込められたニュアンスを読み取ることは極めて困難でした。国内の動画コンテンツ市場が拡大する中、従来の英語偏重かつ短尺動画向けの評価指標では、日本特有のハイコンテクストな表現や暗黙の了解をAIが理解できているかを正確に測定できないという課題がありました。

何が発表されたのか

NARU Benchは、30分から240分に及ぶ155本の日本語YouTube動画（インタビューや対談など）をベースに構築されています。評価項目は「物語理解力」と「文化的理解力」の2つのトラックに分かれており、動画を実際に視聴しなければ解けない仕組みです。評価実験では、4択問題においてランダム回答の基準値（25%）をかろうじて上回るモデルが多く、最も強力な単体モデルでも33.9%にとどまるなど、現在のAI技術における長尺・文脈理解の難しさが浮き彫りになりました。

製造業・生産管理への見方

製造現場や生産管理の領域において、作業手順の記録映像、熟練工の作業動画、安全管理カメラの映像など、長尺の動画データをDXに活用する動きが広がっています。しかし、映像内の「一連の作業の流れ（物語）」や「作業者同士の暗黙の連携（文化的文脈）」をAIに正しく認識させることは容易ではありません。本ベンチマークの登場により、現場の複雑な状況を理解できる高度な映像解析AIの選定や、開発の評価基準が明確になることが期待されます。

現場で確認したいポイント

• 自社で導入を検討している映像解析AIが、長尺動画の文脈をどの程度理解できるか
• 作業手順書などのテキスト情報がない、映像特有の暗黙知をAIが識別可能か
• 現場の監視カメラ映像などから、時間経過に伴う異常予兆を検知する能力があるか

確認しておきたい点

本ベンチマークはYouTube動画をベースに構築されており、製造現場の専門的な作業映像や工場内の特殊な環境下におけるAIの評価にそのまま適用できるかは明記されていません。

関連リンク

• 関連ニュースリリース：NARU Benchリリースに関する公式発表ページ
• インフィニマインド PR TIMESページ：発表企業のプレスリリース一覧

出典情報