Entenda o modelo
O que é MMAudio? É um modelo de pesquisa que gera áudio a partir de vídeo, texto ou ambos. Ele pode sugerir sons para ações visíveis, mas o resultado é gerado — não é uma gravação do que aconteceu durante a filmagem.
4 min de leitura
MMAudio é um modelo multimodal de geração de áudio: usa informações visuais, instruções escritas ou ambas para produzir uma trilha sonora.
A definição é um ponto de partida; estas páginas abordam maneiras específicas de explorar o modelo e seus resultados.
Uma trilha sonora gerada que pareça convincente não é prova de que um evento produziu aqueles sons e, por padrão, não é uma mixagem finalizada.
MMAudio gera uma nova interpretação de uma cena. Ele não reconstrói o sinal do microfone que teria sido captado durante a filmagem.
Alternativa
Use o áudio original da produção quando a autenticidade for importante e trate o som gerado como uma opção criativa.
Um resultado pode sugerir a ação correta, mas posicionar um som transitório cedo ou tarde demais. Pequenos erros de timing são especialmente perceptíveis em impactos e cortes.
Solução alternativa
Ouça em conjunto com a imagem e edite o timing ou substitua um efeito inadequado.
O áudio gerado pode conter texturas de fundo, fontes ambíguas ou sons que entrem em conflito com diálogos e música.
Solução alternativa
Revise a faixa no contexto e, em seguida, corte, sobreponha camadas ou faça a mixagem usando um editor de áudio.
O fluxo de trabalho separa as informações fornecidas ao modelo do áudio que ele prevê.
Comece com um vídeo, uma descrição em texto ou ambos, dependendo do fluxo de trabalho disponível. O vídeo fornece eventos visuais e movimento; o texto pode especificar uma fonte sonora ou orientar o caráter desejado do resultado.
Mmaudio prevê um áudio que se ajusta às condições fornecidas. Na geração orientada por vídeo, o objetivo é produzir um som associado ao que aparece na tela, não transcrever uma faixa original oculta.
Reproduza o resultado candidato junto com a imagem. Verifique se os eventos acontecem nos momentos certos, se o som pertence ao espaço retratado e se outra descrição ou uma edição convencional funcionaria melhor.
Seu valor está em propor rapidamente sons relacionados à cena para avaliar direções criativas; o julgamento editorial continua sendo essencial.
Um clipe com movimento visível pode fornecer contexto para uma trilha sonora candidata. Isso é útil para testar como uma ação poderia ser percebida com som, mas o resultado ainda precisa ser verificado em relação a cada evento visível.
Uma descrição pode comunicar uma fonte, uma ação e um ambiente sem a necessidade de filmagem. Isso torna a geração condicionada por texto relevante para a exploração sonora inicial, embora a formulação talvez não determine todos os detalhes audíveis.
Combinar vídeo e texto pode fornecer ao modelo tanto contexto visual quanto orientação escrita. Por exemplo, a imagem pode mostrar um movimento enquanto a descrição enfatiza um material ou uma atmosfera específicos.
O fluxo de trabalho certo depende de o objetivo ser explorar possibilidades, inserir um efeito com precisão ou preservar um registro fiel.
Escolha esta opção quando
Experimente uma opção de áudio gerada com base no vídeo e depois avalie-a em relação à linha do tempo.
MMAudio pode sugerir sons relacionados à cena, enquanto o editor avalia se cada evento e transição funciona no corte final.
Escolha esta opção quando
Compare as opções geradas com um efeito editado ou uma gravação adequada.
Um único som pontual pode ser mais fácil de posicionar e controlar em um editor de áudio do que uma trilha sonora inteira gerada.
Escolha esta opção quando
Use gravações verificadas, em vez de áudio gerado, como prova do que ocorreu.
MMAudio produz sons plausíveis, mas não pode comprovar o que realmente era audível no local da filmagem.
Se quiser explorar ferramentas de geração de áudio, acesse o link e confira os recursos disponíveis e os termos de acesso atuais no destino antes de começar. Guarde o vídeo original e avalie qualquer resultado gerado de acordo com o uso pretendido.
Explore ferramentas de áudioMMAudio é um modelo de pesquisa para gerar áudio com base em vídeo, texto ou ambos. Ele foi desenvolvido para produzir sons relacionados à cena ou à descrição fornecida, não para recuperar o áudio original gravado da cena.
A geração com base em vídeo pode produzir uma opção de trilha sonora para imagens sem áudio utilizável. O resultado deve ser conferido junto com as imagens, especialmente quando impactos, passos ou mudanças de cena tornam a sincronização evidente.
Não. Uma biblioteca oferece gravações existentes ou efeitos elaborados para selecionar e inserir, enquanto o mmaudio gera um novo candidato de áudio a partir das condições fornecidas. Um editor pode preferir uma biblioteca quando precisa de uma deixa exata e reproduzível.
Não. O áudio gerado é uma interpretação, mesmo que pareça convincente e corresponda à ação. Use gravações documentadas e outras evidências confiáveis para fazer afirmações factuais sobre um evento.