ciudad mobileciudad
En vivo
Ciudad MagazineTecno

Inteligencia Artificial traduce a música interpretaciones sin audio

Los investigadores utilizaron el aprendizaje automático para crear un sistema, llamado “Audeo”, que crea audio a partir de interpretaciones de piano silenciosas.

07 de febrero 2021, 13:47hs
Inteligencia Artificial traduce a música interpretaciones sin audio. Foto: DPA.
Inteligencia Artificial traduce a música interpretaciones sin audio. Foto: DPA.

Un equipo de la Universidad de Washington se preguntó si la inteligencia artificial podría recrear la experiencia interpretativa de los músicos y sus instrumentos utilizando solo señales visuales.

Los investigadores utilizaron el aprendizaje automático para crear un sistema, llamado Audeo, que crea audio a partir de interpretaciones de piano silenciosas.

Cuando el equipo probó la música que Audeo creó con aplicaciones de reconocimiento de música, como SoundHound, las aplicaciones identificaron correctamente la pieza que Audeo reproducía aproximadamente el 86% del tiempo. A modo de comparación, estas aplicaciones identificaron la pieza en las pistas de audio de los videos fuente el 93% del tiempo.

Los investigadores presentaron Audeo en la conferencia NeurIPS 2020, en diciembre.

"Crear música que suene como si pudiera tocarse en una interpretación musical se creía anteriormente imposible", dijo en un comunicado el autor principal Eli Shlizerman, profesor asistente en los departamentos de matemáticas aplicadas y de ingeniería eléctrica e informática.

"Un algoritmo necesita descubrir las señales, o 'características', en los fotogramas de video que están relacionados con la generación de música, y necesita 'imaginar' el sonido que está sucediendo entre los fotogramas de video. Requiere un sistema que sea a la vez preciso e imaginativo. El hecho de que logramos una música que sonaba bastante bien fue una sorpresa ".

Audeo usa una serie de pasos para decodificar lo que está sucediendo en el video y luego traducirlo a música. Primero, tiene que detectar qué teclas se presionan en cada cuadro de video para crear un diagrama a lo largo del tiempo. Luego, debe traducir ese diagrama en algo que un sintetizador de música realmente reconozca como un sonido que haría un piano. Este segundo paso limpia los datos y agrega más información, como con qué fuerza se presiona cada tecla y durante cuánto tiempo.

"Si intentamos sintetizar música desde el primer paso, encontraríamos que la calidad de la música es insatisfactoria", dijo Shlizerman. "El segundo paso es como cómo un maestro repasa la música de un estudiante de compositor y ayuda a mejorarla".

Los investigadores entrenaron y probaron el sistema utilizando videos de YouTube del pianista Paul Barton. La formación consistió en unos 172.000 fotogramas de vídeo de Barton tocando música de compositores clásicos conocidos, como Bach y Mozart. Luego probaron Audeo con casi 19.000 fotogramas de Barton tocando música diferente de estos compositores y otros, como Scott Joplin.

Una vez que Audeo ha generado una transcripción de la música, es hora de dársela a un sintetizador que pueda traducirla en sonido. Cada sintetizador hará que la música suene un poco diferente; esto es similar a cambiar la configuración de "instrumento" en un teclado eléctrico. Para este estudio, los investigadores utilizaron dos sintetizadores diferentes.

"Fluidsynth produce sonidos de piano de sintetizador con los que estamos familiarizados. Son algo mecánicos, pero bastante precisos", dijo Shlizerman. "También usamos PerfNet, un nuevo sintetizador de IA que genera música más rica y expresiva. Pero también genera más ruido".

Audeo fue entrenado y probado solo en videos de piano de Paul Barton. Se necesitan investigaciones futuras para ver cómo de bien puede transcribir música para cualquier músico o piano, dijo Shlizerman.

"El objetivo de este estudio era ver si la inteligencia artificial podía generar música interpretada por un pianista en una grabación de video, aunque no pretendíamos replicar a Paul Barton porque es un virtuoso", dijo Shlizerman. "Esperamos que nuestro estudio permita formas novedosas de interactuar con la música. Por ejemplo, una aplicación futura es que Audeo se puede extender a un piano virtual con una cámara que graba solo las manos de una persona. Además, colocando una cámara encima de un piano, Audeo podría potencialmente ayudar en nuevas formas de enseñar a los estudiantes a tocar".

Fuente: DPA.

Más notas sobre Tecno

Cómo evitar que una marca suene a robot con un detector de IA

Cómo evitar que una marca suene a robot con un detector de IA

Esta es la razón por la que Instagram reitera su apuesta por los vídeos cortos

Esta es la razón por la que Instagram reitera su apuesta por los vídeos cortos

X impulsa el acceso y el uso de Grok con un rediseño de la interfaz web: por qué se facilitará la interacción

X impulsa el acceso y el uso de Grok con un rediseño de la interfaz web: por qué se facilitará la interacción

Los comentarios publicados en ciudad.com.ar podrán ser reproducidos parcial o totalmente en la pantalla de Ciudad Magazine, como así también las imágenes de los autores.

© 1996 - 2025, Artear

Seguinos en las redes

Últimas noticias

  • Wanda Nara le pegó donde más le duele a Mauro Icardi: por qué le va a embargar la Casa de los Sueños
  • Gladys “La Bomba Tucumana” hizo un vivo llorando y preocupó a todos: “Hay gente que depende de mí”
  • Revelan detalles sobre la adicción de Benjamín Vicuña: “Una compulsión difícil de controlar”
  • Fantasy Tour: Los Salieris de Charly homenajean a Charly García en el ND Teatro

Secciones

  • Espectáculos
  • Actualidad
  • Internacional
  • Exclusivo
  • Horóscopo
  • Cine y Series
  • Videos
  • Música
  • Qué Look

Sitios amigos

  • Canal (á)
  • Cucinare
  • El Doce
  • eltrece
  • Cienradios
  • Clarín
  • Grupo Clarín
  • La 100
  • La Voz del Interior
  • Mitre
  • Olé
  • Quiero Música
  • TN
  • TyC Sports
  • Vía País

Seguinos en las redes

© 1996 - 2025, Artear

Mapa del sitio
Aviso Legal
Políticas de privacidad
Media Kit