mmaudioのテキストから音声への変換の進め方
mmaudioのテキストから音声への変換では、映像の動きに合わせて音を付けるのではなく、作りたい音を文章で説明することから始めます。音源、場所、タイミングを記述し、生成された音が意図に合っているかを聞いて確かめましょう。
この方式について
入力は音の説明文で、出力として想定されるのは、聞いて評価するための音声クリップです。画像から場面を想像することはできますが、クリップが実際にどう聞こえるかは分かりません。
場面のアイデア
音の指示文
この視覚的な比較は指示文の変更を示すものであり、音声の結果や検証済みの変更前後の比較を示すものではありません。
場面のアイデア音の指示文テキストを音声にする理由
同期させる完成済みの映像がない場合は、テキストだけの指示文が役立ちます。以下の違いはモデルに与える情報に関するものであり、リンク先のサービスで利用できるオプションを保証するものではありません。
- テキスト主体の指示文
- 動画主体の指示文
元になる素材
テキスト主体の指示文
音を文章で説明したもの
動画主体の指示文
動画。文章による指示を添える場合もある
主な制約
テキスト主体の指示文
言葉で聞こえるべき音を指定する
映像を基にした指示
目に見える動きが、聞こえるべき音を絞り込む助けになる
タイミングの指針
テキストを基にした指示
プロンプトで出来事の順序と間隔を指定する
映像を基にした指示
目に見える出来事をタイミングの基準にする
最適な出発点
テキストを基にした指示
単独で成立する音のアイデア
映像を基にした指示
音を付ける必要がある映像
曖昧になりやすい点
テキストを基にした指示
距離、強さ、背景音が指定されていない
映像を基にした指示
動きは見えるが、どんな音がするかは不明確
確認すること
テキストを基にした指示
音が文章による指示に合っているか確認する
映像を基にした指示
音そのものと、映像との合致を両方確認する
ツールのブロック
これらは、テキストから音声を作るための説明文を練習する際に使う指示例です。画像は題材を示すものであり、音声プレーヤー、検証済みの出力、特定のクリップが生成された証拠ではありません。
-
レイヤリング
1入力のアイデア：前景で起こる1つの動作を説明し、その背後にあるより静かな環境音を続けて示します。1つの連続した音の広がりではなく、音の分離に注意して聴きます。 説明用プロンプトのパターン -
タイミング
2入力のアイデア：短い接近音、はっきりした衝撃音、そして消えていく余韻を求めます。それらの出来事が指定した順序で起こるか確認します。 説明用プロンプトのパターン -
テクスチャ
3入力のアイデア：かすかな背景音の層を伴う、粗く近接したテクスチャを指定します。聞こえるテクスチャと、選んだ言葉を比較します。 説明用プロンプトのパターン
仕様表
上記の比較を入力仕様として使用します。テキスト主導で試す場合は、概要を送信する前に3つの決定を行います。
-
1
音源を明示する
足音、ガラス、風、または別の識別可能な音源など、音を生み出すものを書きます。mmaudioに関する議論では、text to audioはこのプロンプト主導の方法を指し、書かれた言葉を音声ナレーションに変換することを意味しません。
-
2
場面と順序を設定する
距離、周囲の環境、出来事の順序を加えます。たとえば、近くのクリック音に続いて遠くの轟音が聞こえるという指定のほうが、劇的な雰囲気を求めるだけの依頼よりも検証しやすくなります。
-
3
聴いて修正する
生成が利用できる場合は、概要に照らして聞こえる結果を評価します。前景の出来事が消えてしまったり、タイミングが不自然に感じられたりする場合は、プロンプト全体を置き換えるのではなく、一度に1つの指示を変更します。
より具体的な音の概要を試す
音源、その環境、そして1つのタイミングの手がかりから始めます。リンクを開くと別のサービスに移動します。利用できる生成コントロールと利用条件は、移動先で確認してください。
音声生成を試す- 雰囲気だけでなく、何が聞こえるべきかを説明する
- 聴いて結果を確認する
- 一度に1つの詳細を修正する
バリエーションに関するFAQ
テキスト主導型では、映像ではなく、音の説明文から生成を開始します。映像条件付き生成は異なる出発点で、目に見える動作を追加のコンテキストとして使用します。利用するサービスで、実際にどの入力に対応しているかを確認してください。
いいえ。ここでは、生成したい音の情景や効果をテキストで説明します。一方、テキスト読み上げは、言葉を音声として読み上げることを目的としています。ナレーションが必要な場合は、音声生成に明示的に対応したサービスを探してください。
音源を挙げ、その周囲の状況を説明し、重要な順序や変化を指定してください。近くにある音か遠くにある音か、1回の衝撃音か繰り返す衝撃音かといった具体的な情報があると、結果を聴く際の判断基準が明確になります。
指定した音源、タイミング、質感、背景とのバランスに注目して聴いてください。画像では、これらの特性を確認できません。また、自然に聞こえるクリップでも、意図した動作を捉え損ねている場合があります。修正内容を決める前に、聞こえた音を元の依頼内容と比較してください。