- TwelveLabsのMarengo Embed 3.0がBedrock Knowledge Basesの埋め込みモデルとして一般提供開始
- 動画・音声・画像・テキストを512次元の共通ベクトルに変換し、自然言語でシーンを検索できる
- 提供は米国東部(バージニア北部)と米国西部(カリフォルニア北部)の2リージョン、従量課金
何が発表されたのか
Amazon Web Servicesは、TwelveLabsのMarengo Embed 3.0をAmazon Bedrock Knowledge Basesの埋め込みモデルとして一般提供(GA)すると発表しました。Bedrock Knowledge Basesは、保存・取り込み・埋め込み・再ランキング・検索をマネージドで処理するRAG向けのサービスです。これまで動画やメディア資産は意味で検索することが難しく、メディア、スポーツ分析、教育、セキュリティ、小売などの現場では自然言語で映像中の場面を探したいという要望がありました。
Marengo Embed 3.0は、動画・音声・画像・テキストをまとめてエンコードし、512次元のベクトル空間に変換するマルチモーダル埋め込みモデルです。Managed Knowledge Bases(MKB)は、映像・テキスト・音声などの信号を自動で取り込み、統一されたベクトル表現を生成します。対応するファイル形式は動画がMP4とMOV、画像がJPEGとPNGで、音声トラックも扱えます。データソースにはAmazon S3のほか、SharePointやConfluence向けのネイティブコネクタが用意されています。
自前パイプラインが不要に
原文によれば、動画に対するセマンティック検索を自前で構築するには、文字起こしサービス、フレーム抽出の処理、埋め込みモデル、ベクトルデータベース、同期処理を組み合わせた複雑なパイプラインが必要でした。Managed Knowledge Basesでは、セグメンテーションやフレームサンプリング、文字起こしを内部で処理するため、事前処理は不要だと説明されています。
取り込み時に音声と動画のセグメント長を設定でき、既定値はどちらも4秒です。同期(Sync)を実行すると、Managed MKBがフレーム抽出と音声の文字起こしを行い、セグメントごとにMarengo Embed 3.0の埋め込みを生成してインデックスに書き込みます。検索結果にはチャンクの開始時刻・終了時刻・ソースURI・埋め込みタイプといったメタデータが付いて返るため、該当する区間をそのまま取り出せます。
コンソールでの利用手順
原文では、2022 FIFAワールドカップ決勝の10分間のクリップを使ったウォークスルーが紹介されています。まずS3バケットに動画ファイルをアップロードし、Amazon BedrockコンソールでManaged KBを作成します。埋め込みモデルは既定でAmazon Titan Textが選ばれているため、ペンアイコンからTwelveLabs/Marengo Embed 3.0に変更します。データソースにはAmazon S3を選び、動画を置いたバケットのS3 URIを指定します。
作成後にSyncを実行すると取り込みが始まり、コンソールのテスト機能からそのまま検索を試せます。取得するソースチャンク数やメタデータフィルタを設定でき、「show me the penalty kicks from this soccer match」のような自然言語クエリに対して、ペナルティキックの場面が順位付けされて返ると説明されています。アプリケーションに組み込む場合はAmazon BedrockのRetrieve APIを使います。原文ではBoto SDKのRetrieve APIや、Amazon Bedrock AgentCoreのAmazon Bedrock GatewayターゲットとしてKnowledge Basesを呼び出す構成が示されています。
提供リージョンと料金
マネージドKnowledge BasesとMarengo Embed 3.0の組み合わせは、米国東部(バージニア北部、us-east-1)と米国西部(カリフォルニア北部、us-west-1)の2リージョンで利用できます。料金は、Managed Knowledge Basesでは保存した分と検索した分に応じた従量課金で、Marengo Embed 3.0による埋め込み生成にはAmazon Bedrockの標準のモデル呼び出しレートが適用されると説明されています。具体的な単価は原文に記載がなく、料金ドキュメントの参照が求められています。
用途として原文が挙げているのは、スポーツ分析でのプレーやフォーメーションの検索、メディア・エンターテインメントでのアーカイブ検索、セキュリティカメラ映像からの事象探索、教育での講義区間の検索、小売での商品デモ動画の検索です。一方、日本語を含む多言語コンテンツでの検索精度や、他の埋め込みモデルとの精度比較は原文では示されていません。日本国内リージョンでの提供予定についても記載がありません。
| 項目 | 自前構築 | Managed Knowledge Bases |
|---|---|---|
| 必要な構成 | 文字起こし・フレーム抽出・埋め込みモデル・ベクトルDB・同期処理を組み合わせる | 保存・取り込み・埋め込み・再ランキング・検索をマネージドで処理 |
| 事前処理 | 原文に記載なし | 不要(セグメンテーション・フレーム抽出・文字起こしを内部処理) |
Marengo Embed 3.0 is a multimodal embedding model that jointly encodes video, audio, images, and text into a compact, storage-efficient 512-dimensional vector space.
Marengo Embed 3.0は、動画・音声・画像・テキストをまとめてエンコードし、コンパクトでストレージ効率の良い512次元のベクトル空間に変換するマルチモーダル埋め込みモデルです。
今後の見通し
今後の焦点は、対応リージョンの広がりと、日本語を含む多言語コンテンツでの検索精度がどこまで公表されるかです。原文は英語のサッカー映像を使った例のみで、精度のベンチマークには触れていません。日本語の音声や字幕を含む映像でどの程度正確に場面を検索できるかが明らかになれば、国内のメディアや教育、製造業の現場でも採用を判断しやすくなります。加えて、埋め込み生成の実単価や、既存KBの埋め込みモデルを後から変更できるかも、移行検討時の材料になるとみられます。これらの情報がドキュメントで示されるかを追うことになりそうです。
日本の開発者・IT企業にとっての意味
日本のIT企業にとってまず押さえるべきは、動画・音声・画像を対象にしたRAGの構築コストが下がる可能性です。従来は文字起こしやフレーム抽出、ベクトルDBの同期を個別に組み合わせる必要があり、動画検索は工数が読みにくい領域でした。Managed Knowledge Basesなら、S3に置いて同期し、埋め込みモデルを選ぶだけで自然言語検索を用意できます。社内研修動画、製造ラインの作業手順映像、監視カメラ、講義アーカイブといった用途を、テキストRAGと同じ感覚で設計できる点は実務上の意味が大きいと考えられます。一方、提供は米国の2リージョンに限られるため、データの所在やレイテンシ要件が厳しい案件ではそのまま使えない可能性があります。日本語精度の検証も自前で行う必要があるでしょう。
気になる点
- 日本国内のAWSリージョンでも利用できますか?
- 原文で示されている提供リージョンは米国東部(バージニア北部、us-east-1)と米国西部(カリフォルニア北部、us-west-1)の2つです。日本国内リージョンでの提供予定は原文に記載がありません。対応モデルとリージョンの一覧はAmazon Bedrockのドキュメントで確認するよう案内されています。
- 料金はどのように決まりますか?
- Managed Knowledge Basesでは、保存したデータと検索の実行に対して課金され、Marengo Embed 3.0による埋め込み生成にはAmazon Bedrockの標準のモデル呼び出しレートが適用されると説明されています。具体的な単価や動画1分あたりのコストは原文に記載がないため、料金ドキュメントを確認する必要があります。
- 既存のKnowledge Basesの埋め込みモデルを後から変更できますか?
- 原文ではManaged KBの作成時に埋め込みモデルを選ぶ手順が示されており、既存のKBでモデルを差し替えられるかは記載がありません。埋め込みモデルを変えるとベクトルの表現が変わるため、通常は再取り込みが必要になるとみられますが、原文に明示がない点は確認が必要です。
用語解説
- RAG
- 検索拡張生成。外部データを検索し、その結果を生成AIに渡して回答の根拠にする手法です。
- 埋め込み(Embedding)
- テキストや画像などを、意味的な近さを数値で計算できるベクトルに変換することです。
- マルチモーダル
- 動画・音声・画像・テキストなど、複数の種類のデータをまとめて扱うことを指します。
- ベクトル空間(512次元)
- 512個の数値の組でデータを表現する形式です。次元が小さいほど保存容量を抑えやすくなります。
- Amazon Bedrock Knowledge Bases
- AWSのマネージドRAGサービスで、保存・取り込み・埋め込み・再ランキング・検索を担います。
- セグメンテーション
- 動画や音声を検索しやすい長さの区間に分割することです。原文では既定4秒とされています。
出典
Video and image search in Amazon Bedrock Knowledge Base using Marengo 3.0
AI導入も顧問も、お任せください
何から手をつけるか、どこまでAIに任せるか。自社の業務に合わせて整理し、導入から運用まで伴走します。相談だけでも構いません。
AI導入について相談する