Ny AI komponerer sange fra Silent Performance-videoer

Ny AI komponerer sange fra Silent Performance-videoer

Der har været mange akavede forsøg i jagten på at træne algoritmer til at gøre, hvad mennesker kan. Musik er et godt eksempel. Det viser sig, at processen med at omdanne de enkelte toner i et komponeret stykke til en fuldt udtryksfuld forestilling – komplet med ændringer i lydstyrke og stemning – ikke er let at automatisere.

Men et hold ved University of Washington har nærmet sig en måde at komme tæt på forskning, de præsenterede på en maskinlæringskonference sidst sidste år . Deres AI-værktøj kaldet 'Audeo', der kombinerer ordene 'lyd' og 'video', ser en lydløs video af en klaveroptræden, som denne af virtuosen Paul Barton, der udfører Piotr Ilyich Tchaikovskys Valse Sentimentale (Op. 51).



Derefter producerer Audeo kun ved hjælp af den visuelle information musik med den udtryksfulde og fortolkende egenskaber som den musiker, den lige har set.

Afhængigt af den slags synthesizer-software, som forskerne samarbejdede med Audeo, kan resultatet være meget udtryksfuldt, men lidt 'støjende':

Kredit: University of Washington

Producer Christie Taylor taler med hovedforfatteren Eli Shlizerman om, hvordan man træner en algoritme til at lave kunst, og hvordan sådanne værktøjer kan hjælpe med at gøre musikken både mere tilgængelig og lettere at engagere sig i.


Yderligere læsning