MusicLM
Wat is MusicLM?
Google heeft een machine learning tool uitgebracht die muziekstukken kan creëren op basis van een opgegeven tekst, genaamd MusicLM. De tool zelf is nog niet beschikbaar voor het publiek, maar Google heeft wel een onderzoek paper en voorbeelden online geplaatst. Volgens Google is MusicLM een hierarchise sequence-to-sequence machine learning model.
Wat kan MusicLM?
De tool kan muziekstukken maken op basis van tekst, fluiten, neuriën, een foto of een schilderij. Het presteert beter dan eerdere systemen en is in staat om complexe nummers te produceren. MusicLM is getraind op een dataset van 280.000 uur muziek en is in staat om coherente liedjes te genereren voor beschrijvingen met “aanzienlijke complexiteit”. De samples klinken opmerkelijk realistisch, zij het niet noodzakelijk zo inventief of muzikaal samenhangend als een menselijke artiest. Google geeft het schilderij van Salvador Dali als voorbeeld, waarbij MusicLM een eigen nummer componeert.
De plannen van Google met MusicLM?
Google heeft de tool getraind op een dataset van 280.000 uur muziek en heeft ook de dataset MusicCaps openbaar gemaakt voor onderzoekers. Deze dataset bestaat uit 5500 muziekbeschrijvingen met bijbehorende originele muziek. In het paper schrijft Google dat ze geen onmiddellijke plannen om MusicLM vrij te geven vanwege de risico’s dat de tool beschermd materiaal produceert (een kans van ongeveer 1%).
