Der automatische Soundtrack-Generator
Welche Musik passt zu den im Urlaub aufgenommenen Fotos und Videos? Wie kann ich eigene Texte zu Präsentationszwecken mit der richtigen Musik kombinieren? Hilfestellungen wollen zwei Forscher aus dem Saarland. Sie haben ein Programm entwickelt, das den richtigen Soundtrack auswählt.
"Now I'm playing a slideshow of images with nice beach images, nice houses on the images."
Aleksandar Stupar sitzt vor seinem Notebook. Auf dem Bildschirm ist eine Webseite mit sechs Videos zu sehen. Eins der Videos hat der serbische Doktorand aus Bosnien gerade gestartet.
"And in the background.. Im Hintergrund hören Sie den zufällig ausgewählten Song. Der passt nicht wirklich zu den Bildern. Ich stoppe die Bildershow und spiele unsere Show mit den gleichen Bildern, aber mit der Musik, die Picasso ausgesucht hat. Das passt doch viel besser."
Die Website zeigt ein paar Beispiele, die mit Hilfe des Programms Picasso entstanden sind. Das System soll Bildern und Filmen automatisch Musik zuordnen.
"Es funktioniert auch mit Texten. Hier läuft jetzt der Text mit dem zufälligen Lied im Hintergrund. Wir hören, das passt gar nicht und verwirrt den Hörer. Das von Picasso gewählte Lied passt viel besser."
Während Aleksandar Stupar die Ergebnisse des Programms am Bildschirm vorführt, erläutert Forschungsgruppenleiter Sebastian Michel wie Bilder und Musik zueinander finden.
"Das Verfahren besteht aus zwei Teilen. Zum einen können wir vorberechnen, welche Inhalte die Filme haben und welche Musik zu der Zeit der Filmszenen spielt. Das ist relativ einfach. Wir nehmen dann einen beliebigen Film her oder mehrere Filme und wir schauen uns an, welcher Soundtrack hat zu einer bestimmten Zeit gespielt. Dann speichern wir ab den Soundtrack und ein Bildschirmfoto von der Szene des Films und diese Paare von Musik und Bild die nehmen wir als sogenannte Trainingsdaten um eben den Verweis zwischen Musik und Bildern herzustellen."
Fünfzig Filme haben sich die beiden Wissenschaftler angesehen und dann Szene für Szene auseinandergenommen und katalogisiert. Mit den Daten füttern sie dann Picasso. Das benutzt nun die Informationen, um zum Beispiel zu einem Foto die passende Musik zu finden. Dazu vergleicht es das gegebene Foto mit den gespeicherten Bildern. Gibt es einen Treffer, dann schaut der Rechner, welche Musik spielte denn im Film während der entsprechenden Szene aus der das Bild stammt. Aber: Es muss natürlich ein passendes Filmbild zum Foto geben.
"Die Filme, mit denen wir trainiert haben, sind ganz normale Filme. Also was man so normalerweise auch im Fernsehen sehen könnte. Da sind keine ausgefallenen Filme dabei. Wir hatten darauf Wert gelegt, ein ganzes Spektrum abzudecken von verschiedenen Filmen, allerdings wenn die Szene noch überhaupt nicht vorkommt in keinem der Filme, die wir indexiert haben, dann ist es auch sehr schwierig ordentliche Musik zu finden, das ist ganz klar."
Welche Filme es genau waren, die die Wissenschaftler analysiert haben, das bleibt ihr Geheimnis.
"Jetzt zeige ich das eigentliche System. Der Benutzer kann einfach ein paar Bilder hochladen … Erst mal ein paar Bilder finden. Ok, hier sind zum Beispiel schöne Bilder mit Bergen."
Wie gut die Zuordnung klappt, zeigt Aleksandar Stupar. Er öffnet eine neue Webseite. Dort ist ein großes Eingabefeld zu sehen. Darüber lädt er ein paar Landschaftsbilder mit Bergen und einem See auf den Server.
"Die Bilder kann der Benutzer einfach per Drag-and-Drop in die Box ziehen. Der Server nimmt sie dann und empfiehlt seine Top-Ten-Songs zu den Bildern. Insgesamt kann er aus 300 Songs wählen. Und für unser Motiv mit dem See und den Bergen hat er jetzt dieses Lied ausgewählt."
Die Nummer 1 der Liste ist ein ruhiger Song von Elliott Smith. Der zweitplatzierte Track stammt von Liquid Stranger und ist deutlich schneller und dynamischer. Damit ist das System schon gut einsetzbar, aber noch nicht perfekt, sagt Sebastian Michel. Derzeit könne der Benutzer die Musik aus der eigenen Bibliothek noch nicht verwenden. Diese und eine weitere Funktion sollen aber bald fertig sein.
"Was man auch noch gerne hätte, wär dann so etwas, dass der Benutzer vielleicht spezifizieren kann in welcher Gefühlslage er sich befindet. Also einen kleinen Hinweis geben könnte, möchte er eher etwas haben, was etwas ruhiger ist oder etwas haben, was etwas schneller ist. Das würde uns noch weiterhelfen mit der Empfehlung."
Parallel dazu arbeiten die beiden Forscher an der Verbesserung der Algorithmen und an einer App für Smartphones. Darüber soll der Anwender einfach Bilder hochladen. Anschließend bekommt er eine Empfehlung über passende Musik zurück. Wann die App fertig sein wird, das steht allerdings noch nicht fest. Bis dahin kann man sich Picasso nur auf der Demo-Seite im Internet anschauen.
Aleksandar Stupar sitzt vor seinem Notebook. Auf dem Bildschirm ist eine Webseite mit sechs Videos zu sehen. Eins der Videos hat der serbische Doktorand aus Bosnien gerade gestartet.
"And in the background.. Im Hintergrund hören Sie den zufällig ausgewählten Song. Der passt nicht wirklich zu den Bildern. Ich stoppe die Bildershow und spiele unsere Show mit den gleichen Bildern, aber mit der Musik, die Picasso ausgesucht hat. Das passt doch viel besser."
Die Website zeigt ein paar Beispiele, die mit Hilfe des Programms Picasso entstanden sind. Das System soll Bildern und Filmen automatisch Musik zuordnen.
"Es funktioniert auch mit Texten. Hier läuft jetzt der Text mit dem zufälligen Lied im Hintergrund. Wir hören, das passt gar nicht und verwirrt den Hörer. Das von Picasso gewählte Lied passt viel besser."
Während Aleksandar Stupar die Ergebnisse des Programms am Bildschirm vorführt, erläutert Forschungsgruppenleiter Sebastian Michel wie Bilder und Musik zueinander finden.
"Das Verfahren besteht aus zwei Teilen. Zum einen können wir vorberechnen, welche Inhalte die Filme haben und welche Musik zu der Zeit der Filmszenen spielt. Das ist relativ einfach. Wir nehmen dann einen beliebigen Film her oder mehrere Filme und wir schauen uns an, welcher Soundtrack hat zu einer bestimmten Zeit gespielt. Dann speichern wir ab den Soundtrack und ein Bildschirmfoto von der Szene des Films und diese Paare von Musik und Bild die nehmen wir als sogenannte Trainingsdaten um eben den Verweis zwischen Musik und Bildern herzustellen."
Fünfzig Filme haben sich die beiden Wissenschaftler angesehen und dann Szene für Szene auseinandergenommen und katalogisiert. Mit den Daten füttern sie dann Picasso. Das benutzt nun die Informationen, um zum Beispiel zu einem Foto die passende Musik zu finden. Dazu vergleicht es das gegebene Foto mit den gespeicherten Bildern. Gibt es einen Treffer, dann schaut der Rechner, welche Musik spielte denn im Film während der entsprechenden Szene aus der das Bild stammt. Aber: Es muss natürlich ein passendes Filmbild zum Foto geben.
"Die Filme, mit denen wir trainiert haben, sind ganz normale Filme. Also was man so normalerweise auch im Fernsehen sehen könnte. Da sind keine ausgefallenen Filme dabei. Wir hatten darauf Wert gelegt, ein ganzes Spektrum abzudecken von verschiedenen Filmen, allerdings wenn die Szene noch überhaupt nicht vorkommt in keinem der Filme, die wir indexiert haben, dann ist es auch sehr schwierig ordentliche Musik zu finden, das ist ganz klar."
Welche Filme es genau waren, die die Wissenschaftler analysiert haben, das bleibt ihr Geheimnis.
"Jetzt zeige ich das eigentliche System. Der Benutzer kann einfach ein paar Bilder hochladen … Erst mal ein paar Bilder finden. Ok, hier sind zum Beispiel schöne Bilder mit Bergen."
Wie gut die Zuordnung klappt, zeigt Aleksandar Stupar. Er öffnet eine neue Webseite. Dort ist ein großes Eingabefeld zu sehen. Darüber lädt er ein paar Landschaftsbilder mit Bergen und einem See auf den Server.
"Die Bilder kann der Benutzer einfach per Drag-and-Drop in die Box ziehen. Der Server nimmt sie dann und empfiehlt seine Top-Ten-Songs zu den Bildern. Insgesamt kann er aus 300 Songs wählen. Und für unser Motiv mit dem See und den Bergen hat er jetzt dieses Lied ausgewählt."
Die Nummer 1 der Liste ist ein ruhiger Song von Elliott Smith. Der zweitplatzierte Track stammt von Liquid Stranger und ist deutlich schneller und dynamischer. Damit ist das System schon gut einsetzbar, aber noch nicht perfekt, sagt Sebastian Michel. Derzeit könne der Benutzer die Musik aus der eigenen Bibliothek noch nicht verwenden. Diese und eine weitere Funktion sollen aber bald fertig sein.
"Was man auch noch gerne hätte, wär dann so etwas, dass der Benutzer vielleicht spezifizieren kann in welcher Gefühlslage er sich befindet. Also einen kleinen Hinweis geben könnte, möchte er eher etwas haben, was etwas ruhiger ist oder etwas haben, was etwas schneller ist. Das würde uns noch weiterhelfen mit der Empfehlung."
Parallel dazu arbeiten die beiden Forscher an der Verbesserung der Algorithmen und an einer App für Smartphones. Darüber soll der Anwender einfach Bilder hochladen. Anschließend bekommt er eine Empfehlung über passende Musik zurück. Wann die App fertig sein wird, das steht allerdings noch nicht fest. Bis dahin kann man sich Picasso nur auf der Demo-Seite im Internet anschauen.