失われた現場音声は復元できない
MMAudioはシーンを新たに解釈して音声を生成します。撮影中にマイクが捉えたはずの信号を復元するものではありません。
代替案
実際の音であることが重要な場合は撮影時の元音声を使い、生成音声は創作上の選択肢として扱ってください。
モデルの解説
MMAudioとは？動画の音声生成ガイド
MMAudioとは？動画やテキスト、またはその両方から音声を生成する研究用モデルです。映像に映る動きに合った音を提案できますが、出力されるのは生成された音声であり、撮影現場で実際に録音された音ではありません。
ひとことで言うと
読了目安：4分
MMAudioはマルチモーダルな音声生成モデルです。映像情報やテキストによる指示、またはその両方を使ってサウンドトラックを生成します。
関連するワークフロー
この定義は出発点です。以下のページでは、モデルとその出力を試す具体的な方法を紹介します。
できること・できないこと
生成されたサウンドトラックがもっともらしく聞こえても、実際の出来事でその音が鳴った証拠にはなりません。また、そのままで完成したミックスになるわけでもありません。
正確な同期は保証できない
適切な動作を示す音でも、瞬間的な音が早すぎたり遅すぎたりすることがあります。小さなタイミングのずれも、衝突やカットの前後では特に目立ちます。
対処法
映像に合わせて聴き、タイミングを編集するか、合わない効果音を差し替えてください。
完成したミックスの明瞭さは保証できない
生成された音声には、背景の音、音源が判別しにくい音、セリフや音楽とぶつかる音が含まれる場合があります。
対処法
映像やほかの音と合わせて確認し、音声編集ソフトでトリミング、レイヤーの追加、ミキシングを行ってください。
仕組み
このワークフローでは、モデルに与える情報と、モデルが予測する音声を分けて扱います。
-
1
シーンや説明を入力する
利用できるワークフローに応じて、動画、テキストによる説明、またはその両方から始めます。動画は視覚的な出来事や動きを伝え、テキストは音源を指定したり、求める音の雰囲気へと結果を導いたりできます。
-
2
サウンドトラックの候補を生成する
Mmaudioは、与えられた条件に合う音声を予測します。動画を使った生成では、元の映像に隠された音声トラックを再現するのではなく、画面に映るものに関連した音を作ることを目指します。
-
3
聴いて修正する
候補の音声を映像と一緒に再生します。音が適切なタイミングで鳴るか、描かれた空間になじむか、別の説明や従来の編集方法のほうがよいかを確認してください。
モデルが役立つ場面
このモデルの価値は、シーンに関連する音をすばやく提案し、制作の方向性を検討できる点にあります。ただし、編集者による判断は欠かせません。
無音の映像に音のアイデアを加える
動きが映っているクリップは、サウンドトラックの候補を作る手がかりになります。動作に音を付けたときの印象を試すのに役立ちますが、候補の音が映像内の各出来事に合っているかは確認が必要です。
文章のアイデアから音声を作る
映像がなくても、説明文で音源、動作、場所を伝えられます。そのため、テキストを使った生成は音の初期検討に役立ちますが、文面だけで聞こえる音の細部まで決まるとは限りません。
2種類の入力で方向性を示す
動画とテキストを組み合わせると、視覚的な文脈と文章による指示の両方をモデルに与えられます。たとえば、映像で動きを示しながら、説明文で特定の素材や雰囲気を強調できます。
利用する人
適切なワークフローは、目的がアイデアの探索なのか、効果音の正確な配置なのか、事実に忠実な記録なのかによって異なります。
こんなときに選択
動画編集者が無音のクリップに合うアイデアを探している
動画を基に音声候補を生成し、タイムラインに合わせて確認します。
MMAudioはシーンに関連する音を提案できます。各音のタイミングや切り替わりが実際の編集映像に合うかどうかは、編集者が判断できます。
こんなときに選択
サウンドデザイナーが狙いどおりの衝撃音を1つ必要としている
生成した候補を、編集した効果音や適切な録音と比較します。
意図して配置する単独の効果音なら、生成したサウンドトラック全体を扱うより、音声編集ソフトで配置や調整をしやすい場合があります。
こんなときに選択
ドキュメンタリー制作者が現場の本物の音を必要としている
出来事の証拠となる音声には、生成音声ではなく、検証済みの録音を使用します。
MMAudioはもっともらしい音を生成しますが、撮影現場で実際に何が聞こえたかを証明することはできません。
音声制作のワークフローを探る
基本を理解したら、次のステップへ
音声生成ツールを試したい場合は、リンク先にアクセスし、始める前に現在の機能と利用条件を確認してください。元の動画を保存し、生成結果が目的の用途に合っているか確認してください。
音声ツールを探す- リンク先で利用できる入力形式を確認する。
- シーンに合わせて結果を聴く。
よくある質問
MMAudioは、動画、テキスト、またはその両方を条件として音声を生成する研究モデルです。提供されたシーンや説明に関連する音を生成するもので、シーンの元の録音音声を取り出すものではありません。
動画を基にした生成により、使用できる音声がない映像向けのサウンドトラック候補を作成できます。特に衝撃音、足音、場面転換など、タイミングのずれが目立つ箇所では、映像と照らし合わせて確認してください。
いいえ。ライブラリでは既存の録音や制作済みの効果音を選んで配置しますが、Mmaudioは与えられた条件から新しい音声候補を生成します。まったく同じ音を繰り返し使う必要がある場合、編集者はライブラリを選ぶことがあります。
いいえ。生成された音声は、説得力があり、映像の動きに合っているように聞こえても、あくまで一つの解釈です。出来事について事実を主張する際は、記録された音声やその他の信頼できる証拠を使用してください。