O Google DeepMind nosso modelo de geração musical mais avançado e dois novos experimentos de AI
projetados para abrir um novo playground para a criatividade
Do jazz ao heavy metal, do techno à ópera, a música é uma forma de expressão criativa muito apreciada. Com letras, melodias, ritmos e vocais complexos e densamente em camadas, criar músicas atraentes tem sido especialmente desafiador para sistemas de inteligência artificial (AI) – até agora.
Hoje, em parceria com o YouTube , estamos anunciando o Lyria do Google DeepMind , nosso modelo de geração de música com AI mais avançado até o momento, e dois experimentos de AI projetados para abrir um novo playground para a criatividade:
- Dream Track – um experimento no YouTube Shorts projetado para ajudar a aprofundar as conexões entre artistas, criadores e fãs por meio da criação musical.
- Ferramentas de AI musical – um conjunto de ferramentas que estamos desenvolvendo com artistas, compositores e produtores para ajudar a reforçar seus processos criativos.
Para desenvolver estes projetos, reunimos especialistas técnicos de todo o Google com uma gama diversificada de artistas e compositores de renome mundial para explorar como as tecnologias musicais generativas podem moldar de forma responsável o futuro da criação musical. Estamos entusiasmados com a construção de novas tecnologias que possam aprimorar o trabalho de músicos profissionais e da comunidade artística, além de oferecer uma contribuição positiva para o futuro da música.
Uma visão antecipada das possibilidades à medida que experimentamos AI e música.
Apresentando o modelo Lyria
A música contém enormes quantidades de informações – considere cada batida, nota e harmonia vocal em cada segundo. Ao gerar longas sequências de som, é difícil para os modelos de AI manter a continuidade musical entre frases, versos ou passagens estendidas. Como a música geralmente inclui múltiplas vozes e instrumentos ao mesmo tempo, é muito mais difícil de criar do que a fala.
Desenvolvido pelo Google DeepMind, o modelo Lyria se destaca na geração de música de alta qualidade com instrumentais e vocais, realizando tarefas de transformação e continuação e dando aos usuários um controle mais sutil do estilo e desempenho da saída.
Inspirando novas músicas no YouTube Shorts
Estamos testando o Lyria em um experimento chamado Dream Track, desenvolvido em colaboração com o YouTube para testar novas maneiras de os artistas se conectarem com seus fãs.
Dentro do experimento, um conjunto limitado de criadores poderá usar o Dream Track para produzir uma trilha sonora única com voz gerada por AI e estilo musical de artistas como Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Sia, T-Pain, Troye Sivan e Papoose.
Cada artista participante fez parceria conosco e nos ajudará a testar e aprender a moldar o futuro da IA na música.
Os usuários do Dream Track podem simplesmente inserir um tópico e escolher um artista no carrossel para gerar uma trilha sonora de 30 segundos para seu curta. Usando nosso modelo Lyria, o Dream Track gera simultaneamente a letra, a faixa de apoio e a voz gerada por AI no estilo do artista participante selecionado.
Explorando ferramentas de AI musical com a indústria
Nossos pesquisadores têm explorado com artistas, compositores e produtores na Music AI Incubator do YouTube como a AI generativa pode apoiar melhor o processo criativo e trabalhando juntos para projetar de forma responsável um conjunto de ferramentas de AI musical.
Imagine cantar uma melodia para criar uma linha de sopros, transformar acordes de um teclado MIDI em um coro vocal realista ou adicionar um acompanhamento instrumental a uma faixa vocal.
Explorando ferramentas de AI musical com a indústria
Nossos pesquisadores têm explorado com artistas, compositores e produtores na Music AI Incubator do YouTube como a AI generativa pode apoiar melhor o processo criativo e trabalhando juntos para projetar de forma responsável um conjunto de ferramentas de AI musical.
Imagine cantar uma melodia para criar uma linha de sopros, transformar acordes de um teclado MIDI em um coro vocal realista ou adicionar um acompanhamento instrumental a uma faixa vocal.
Louis Bell, Produtor/Compositor, constrói uma faixa com apenas um zumbido.
Com nossas ferramentas de AI musical, os usuários podem criar novas seções musicais ou instrumentais do zero, transformar o áudio de um estilo musical ou instrumento para outro e criar acompanhamentos instrumentais e vocais. Este trabalho baseia-se em nossa história de pesquisa e experimentação com AI e música, e continuaremos testando nossas ferramentas de AI musical com participantes da incubadora ao longo de seu desenvolvimento.
Marca d’água de áudio gerado por AI com SynthID
Nossa equipe também é pioneira na implantação responsável de nossas tecnologias com as melhores ferramentas para marcas d’água e identificação de conteúdo gerado sinteticamente. Qualquer conteúdo publicado pelo nosso modelo Lyria terá marca d’água com SynthID , o mesmo kit de ferramentas tecnológicas que usamos para identificar imagens geradas pelo Imagen no Vertex AI do Google Cloud .
SynthID converte áudio em um espectrograma visual para adicionar uma marca d’água digital.
O SynthID incorpora uma marca d’água no conteúdo de áudio gerado por IA que é inaudível ao ouvido humano e não compromete a experiência auditiva. Isso é feito convertendo a onda de áudio em uma visualização bidimensional que mostra como o espectro de frequências de um som evolui ao longo do tempo. Este novo método é diferente de tudo que existe hoje, especialmente no contexto de áudio.
A marca d’água foi projetada para manter a detectabilidade mesmo quando o conteúdo de áudio sofre muitas modificações comuns, como adição de ruído, compactação de MP3 ou aceleração e desaceleração da faixa. O SynthID também pode detectar a presença de uma marca d’água em uma faixa para ajudar a determinar se partes de uma música foram geradas pelo Lyria.
Desenvolvendo e implantando nossas tecnologias de forma responsável
Para maximizar os benefícios de nossas tecnologias musicais generativas e, ao mesmo tempo, mitigar riscos potenciais, é fundamental que elas sejam desenvolvidas com as melhores proteções da categoria. Trabalhamos em estreita colaboração com artistas e com a indústria musical para garantir que essas tecnologias sejam amplamente benéficas.
Nossos experimentos de AI musical foram projetados de acordo com os princípios de AI do YouTube , que visam permitir a expressão criativa e, ao mesmo tempo, proteger os artistas musicais e a integridade de seu trabalho.
No futuro, continuaremos a envolver artistas, a indústria musical e a comunidade criativa em geral para estabelecer o padrão para o desenvolvimento responsável e a implantação de ferramentas de geração musical.
O futuro das ferramentas musicais generativas
As tecnologias musicais generativas podem transformar o futuro da criação e uso musical. Nosso trabalho de ponta neste espaço irá desbloquear uma nova onda emocionante de ferramentas artísticas que podem inspirar a criatividade de artistas, compositores, produtores e fãs em todo o mundo.
Apenas começamos a explorar como a IA pode estimular a criatividade musical das pessoas e mal podemos esperar para ver o que poderemos realizar a seguir em parceria com artistas, a indústria musical e uma comunidade criativa mais ampla.
