Echtzeit-Feedback für die Blockflöte
Musikschüler lernen flöten und der Computer gibt sofort an, ob der gespielte Ton richtig war oder nicht. Das Fraunhofer-Institut für Digitale Medientechnologie zeigt auf der IFA, wie das Erlernen eines Instruments künftig unterstützt werden kann.
Auf der diesjährigen Internationalen Funkausstellung in Berlin ist das dreidimensionale Fernsehen der Renner schlechthin. Doch neben den großen Konzernen, die marktreife 3D-Bildschirme und andere Produkte auf der IFA präsentieren, gibt es auch zahlreiche Forschungsinstitute, die sich und ihre Entwicklungen vorstellen. Raum dafür bietet ihnen die so genannte TecWatch.
Zahlreiche Menschen drängen sich durch Halle 8.1. auf dem Berliner Messegelände. Rund 50 Stände sind hier aufgebaut, in der knapp 100 Meter langen und 30 Meter breiten Halle. Tageslicht gibt es hier genauso wenig wie einen stillen Ort. Dafür aber jede Menge neue Software, die sich an einem der vielen Stände erkunden lässt. Sascha Grollmisch vom Fraunhofer-Institut für Digitale Medientechnologie präsentiert beispielsweise eine Musiksoftware.
"Wir haben ein Produkt entwickelt, das Musikschüler beim Erlernen eines Instrumentes unterstützen soll. Das Ganze geht einfach über eine Website, man braucht nur ein Mikrofon und das jeweilige Instrument und bekommt sofort in Echtzeit Feedback, ob man den Song gut gespielt hat oder nicht, ob die Töne zu lang oder zu kurz waren oder zu hoch. Und man sieht außerdem noch, wie man die Töne zu greifen hat, falls man es nicht weiß und natürlich auch eine Notendarstellung."
Und dann greift sich Sascha Grollmisch eine Blockflöte und stellt sich vor einen riesigen Computerbildschirm: Jetzt muss er nur noch ein paar Mal auf den Touchscreen drücken, und das Programm beginnt.
"Ich nehme mir einfach mein Instrument, das ich ausgewählt habe, zum Beispiel Flöte. Und dann geh ich damit vor mein Mikrofon, betätige Play. Dann startet das Musikspiel und der Song. Und es wird mir gleich angezeigt, wann ich anfangen muss und welche Töne ich spielen muss."
Auf dem Display zeigt das Programm an, welche Flötenlöcher Sascha Grollmisch zuhalten muss und die zu spielende Note ist jeweils rot markiert. Sobald er danebengreift, erscheint ein leuchtend rotes "Missed" auf dem Bildschirm. Viele sinnliche Eindrücke auf einmal – und zumindest jetzt nicht von Erfolg gekrönt.
"Ja, das ist halt ein etwas schwieriges Stück (lacht) und ich bin kein guter Flötenspieler, aber es hat mir auch schon gezeigt, dass ich relativ oft ziemlich danebenlag, wie mach auch gehört hat."
Erhältlich ist das Programm bisher nicht – denn die Entwicklung ist noch unausgereift: Bisher lässt sich vor allem Blockflöte mit der Software üben – weitere Instrumente sollen dazukommen. Komplett fertig ist hingegen eine andere Entwicklung aus dem gleichen Institut: Sie soll die Sprachverständlichkeit bei internetbasierten Telefongesprächen verbessern – und sie ist vor allem für schwerhörige Menschen gedacht. Entwickler Danilo Hollosi:
"Unsere Software ist einerseits in der Lage, Störgeräusche aus der Umwelt effizient zu reduzieren. Und andererseits Hörverluste, die beim Menschen auftreten, zu kompensieren."
Danilo Hollosi zeigt, wie das System funktioniert: Dazu stellt er sich vor einen Computerbildschirm, auf dem eine Webkamera installiert ist. Er wählt sich ins Internet ein und baut eine Telefonverbindung zu seinem Kollegen auf - der steht an einem rund fünf Meter entfernten Stand hinter einer Stellwand. Über ein kleines Fenster im Bildschirm kann Danilo Hollosi seinen Kollegen sehen.
"Wir haben uns jetzt hier Kopfhörer aufgesetzt und sind jetzt in der Lage, über eine weite Strecke miteinander zu kommunizieren über unser Telekonferenzsystem. Und merken dabei aber, dass wir eine ganze Menge Störgeräusche aus der Umwelt mit in unseren Kopfhörern haben, die natürlich die Sprachverständlichkeit negativ beeinflussen.
Um dem entgegenzuwirken, schalte ich jetzt die Störgeräuschreduktionsfunktionalität hinzu und bemerke: Oh ja, die Störgeräusche sind merklich reduziert und die Sprachverständlichkeit ist so gut wie wieder hergestellt."
Leider funktioniert das System nur über Kopfhörer. Wer die aufsetzt und die Geräuschreduktion einschaltet, merkt allerdings, dass sich der Messelärm deutlich verringert. Der Gesprächspartner klingt jetzt zwar etwas blechern, Störgeräusche sind dafür aber kaum vorhanden.
Der Trick dabei: Die Software misst die Frequenzen der Hintergrundgeräusche und filtert diese aus der Sprachübertragung heraus. Solch eine Selektionsfunktion gibt es auch bei der Software Photo Summary – statt Audiosignalen filtert die allerdings Bilder, sagt Stefanie Nowak vom Fraunhofer Institut für Digitale Medientechnologie. Sie steht vor einem großen Touchscreen:
"Also, wir haben hier zum Beispiel ein Set von einem Neuseelandurlaub, was aus ungefähr 400 Bildern besteht. Und ich kann zum Beispiel sagen, ich möchte gerne insgesamt in meinem Endset 50 Bilder haben, und es sollen möglichst Bilder mit Personen sein.
Und das heißt, ich brauche eigentlich nur hier auf diesen Knopf zu drücken und automatisiert berechnet der Computer jetzt die verschiedenen Ereignisse und sucht pro Ereignis die repräsentativen Bilder aus. Das heißt, die technisch Schönen, die, die eher Menschen beinhalten und die, die nicht doppelt sind."
Der Nutzer kann dabei individuell einstellen, nach welchen Kriterien das Programm auswählen soll: So lässt sich die Menge der Bilder reduzieren oder erhöhen, die Suchkriterien zum Beispiel nach Bildschärfe variieren. Das Programm scannt die Fotos und präsentiert wenige Sekunden später eine Auswahl. Stefanie Nowak zeigt ein neues Beispiel:
"Also, was wir jetzt gerade geändert haben, ist noch mal zu sagen, uns sind die Menschen nicht so wichtig, wir gehen mehr auf die technische Qualität und auf den Appeal der Fotos. Und wie wir jetzt sehen, er erstellt wieder ein Summary, mit in diesem Fall wieder 50 Bildern. Und wir werden jetzt gleich sehen, dass zwar immer noch ein paar der alten Bilder dabei sind, aber dass er zum Beispiel viel mehr auf die landschaftlichen Bilder geht."
Und tatsächlich: Wo vorher fast ausschließlich Menschen zu sehen waren, sind jetzt vor allem Landschaftsbilder repräsentiert. Die Bildverarbeitung spielt auch bei einer weiteren Erfindung der Fraunhofer-Institute eine Rolle: Hier in der TecWatch-Halle zeigen Sie erste Entwicklungen zum 3D-Fernsehen ohne Brille. Bevor diese Technik marktreif ist, werden allerdings noch mehrere Funkausstellungen vergehen.
Zahlreiche Menschen drängen sich durch Halle 8.1. auf dem Berliner Messegelände. Rund 50 Stände sind hier aufgebaut, in der knapp 100 Meter langen und 30 Meter breiten Halle. Tageslicht gibt es hier genauso wenig wie einen stillen Ort. Dafür aber jede Menge neue Software, die sich an einem der vielen Stände erkunden lässt. Sascha Grollmisch vom Fraunhofer-Institut für Digitale Medientechnologie präsentiert beispielsweise eine Musiksoftware.
"Wir haben ein Produkt entwickelt, das Musikschüler beim Erlernen eines Instrumentes unterstützen soll. Das Ganze geht einfach über eine Website, man braucht nur ein Mikrofon und das jeweilige Instrument und bekommt sofort in Echtzeit Feedback, ob man den Song gut gespielt hat oder nicht, ob die Töne zu lang oder zu kurz waren oder zu hoch. Und man sieht außerdem noch, wie man die Töne zu greifen hat, falls man es nicht weiß und natürlich auch eine Notendarstellung."
Und dann greift sich Sascha Grollmisch eine Blockflöte und stellt sich vor einen riesigen Computerbildschirm: Jetzt muss er nur noch ein paar Mal auf den Touchscreen drücken, und das Programm beginnt.
"Ich nehme mir einfach mein Instrument, das ich ausgewählt habe, zum Beispiel Flöte. Und dann geh ich damit vor mein Mikrofon, betätige Play. Dann startet das Musikspiel und der Song. Und es wird mir gleich angezeigt, wann ich anfangen muss und welche Töne ich spielen muss."
Auf dem Display zeigt das Programm an, welche Flötenlöcher Sascha Grollmisch zuhalten muss und die zu spielende Note ist jeweils rot markiert. Sobald er danebengreift, erscheint ein leuchtend rotes "Missed" auf dem Bildschirm. Viele sinnliche Eindrücke auf einmal – und zumindest jetzt nicht von Erfolg gekrönt.
"Ja, das ist halt ein etwas schwieriges Stück (lacht) und ich bin kein guter Flötenspieler, aber es hat mir auch schon gezeigt, dass ich relativ oft ziemlich danebenlag, wie mach auch gehört hat."
Erhältlich ist das Programm bisher nicht – denn die Entwicklung ist noch unausgereift: Bisher lässt sich vor allem Blockflöte mit der Software üben – weitere Instrumente sollen dazukommen. Komplett fertig ist hingegen eine andere Entwicklung aus dem gleichen Institut: Sie soll die Sprachverständlichkeit bei internetbasierten Telefongesprächen verbessern – und sie ist vor allem für schwerhörige Menschen gedacht. Entwickler Danilo Hollosi:
"Unsere Software ist einerseits in der Lage, Störgeräusche aus der Umwelt effizient zu reduzieren. Und andererseits Hörverluste, die beim Menschen auftreten, zu kompensieren."
Danilo Hollosi zeigt, wie das System funktioniert: Dazu stellt er sich vor einen Computerbildschirm, auf dem eine Webkamera installiert ist. Er wählt sich ins Internet ein und baut eine Telefonverbindung zu seinem Kollegen auf - der steht an einem rund fünf Meter entfernten Stand hinter einer Stellwand. Über ein kleines Fenster im Bildschirm kann Danilo Hollosi seinen Kollegen sehen.
"Wir haben uns jetzt hier Kopfhörer aufgesetzt und sind jetzt in der Lage, über eine weite Strecke miteinander zu kommunizieren über unser Telekonferenzsystem. Und merken dabei aber, dass wir eine ganze Menge Störgeräusche aus der Umwelt mit in unseren Kopfhörern haben, die natürlich die Sprachverständlichkeit negativ beeinflussen.
Um dem entgegenzuwirken, schalte ich jetzt die Störgeräuschreduktionsfunktionalität hinzu und bemerke: Oh ja, die Störgeräusche sind merklich reduziert und die Sprachverständlichkeit ist so gut wie wieder hergestellt."
Leider funktioniert das System nur über Kopfhörer. Wer die aufsetzt und die Geräuschreduktion einschaltet, merkt allerdings, dass sich der Messelärm deutlich verringert. Der Gesprächspartner klingt jetzt zwar etwas blechern, Störgeräusche sind dafür aber kaum vorhanden.
Der Trick dabei: Die Software misst die Frequenzen der Hintergrundgeräusche und filtert diese aus der Sprachübertragung heraus. Solch eine Selektionsfunktion gibt es auch bei der Software Photo Summary – statt Audiosignalen filtert die allerdings Bilder, sagt Stefanie Nowak vom Fraunhofer Institut für Digitale Medientechnologie. Sie steht vor einem großen Touchscreen:
"Also, wir haben hier zum Beispiel ein Set von einem Neuseelandurlaub, was aus ungefähr 400 Bildern besteht. Und ich kann zum Beispiel sagen, ich möchte gerne insgesamt in meinem Endset 50 Bilder haben, und es sollen möglichst Bilder mit Personen sein.
Und das heißt, ich brauche eigentlich nur hier auf diesen Knopf zu drücken und automatisiert berechnet der Computer jetzt die verschiedenen Ereignisse und sucht pro Ereignis die repräsentativen Bilder aus. Das heißt, die technisch Schönen, die, die eher Menschen beinhalten und die, die nicht doppelt sind."
Der Nutzer kann dabei individuell einstellen, nach welchen Kriterien das Programm auswählen soll: So lässt sich die Menge der Bilder reduzieren oder erhöhen, die Suchkriterien zum Beispiel nach Bildschärfe variieren. Das Programm scannt die Fotos und präsentiert wenige Sekunden später eine Auswahl. Stefanie Nowak zeigt ein neues Beispiel:
"Also, was wir jetzt gerade geändert haben, ist noch mal zu sagen, uns sind die Menschen nicht so wichtig, wir gehen mehr auf die technische Qualität und auf den Appeal der Fotos. Und wie wir jetzt sehen, er erstellt wieder ein Summary, mit in diesem Fall wieder 50 Bildern. Und wir werden jetzt gleich sehen, dass zwar immer noch ein paar der alten Bilder dabei sind, aber dass er zum Beispiel viel mehr auf die landschaftlichen Bilder geht."
Und tatsächlich: Wo vorher fast ausschließlich Menschen zu sehen waren, sind jetzt vor allem Landschaftsbilder repräsentiert. Die Bildverarbeitung spielt auch bei einer weiteren Erfindung der Fraunhofer-Institute eine Rolle: Hier in der TecWatch-Halle zeigen Sie erste Entwicklungen zum 3D-Fernsehen ohne Brille. Bevor diese Technik marktreif ist, werden allerdings noch mehrere Funkausstellungen vergehen.