Das Gehirn pulsiert ruhig vor mir an der Wand. Als warte es darauf, dass es etwas zu tun bekommt – Erinnerungen verarbeiten, Erkenntnisse haben, Lösungen finden. Es leuchtet von einem riesigen Flatscreen in einen fast leeren Raum; an der Seite sehe ich ein Mischpult, auf dem Boden schlängeln sich Kabel, auf Stativen um mich herum stehen sechs schwarz-weiße Lautsprecher. Es könnte der Proberaum einer konzeptuell arbeitenden Elektronikband sein. Und gewissermaßen sind Luca Hilbrich, Philipp Steigerwald und Tim Strauch auch eine Band – die drei werden in diesem sehr aufgeräumten Makers Space auf dem Campus des Hasso-Plattner-Instituts (HPI) in Potsdam gleich ein Konzert für mich geben. Der Name ihres Projekts: Brain Data Sonification.
Ein paar Klicks, ein paar Regler hochgezogen, und überall auf dem Hirn an der Wand erblühen Kreise. Dazu schwellen Sounds aus den Lautsprechern, ein schnelles Pingen vorne links, dazu ringsum ein tiefes Wupp-Wupp wie eine Bassdrum, alles regelmäßig, aber ohne, dass ich einen Takt erkennen könnte. So plingt und ploppt es eine Weile vor sich hin. Ich verliere mich in den Sounds, irgendwann kommt von hinten rechts ein Pluckern dazu.
Das Ganze erinnert mich mal an die Synthesizer-Ambientmusik der Berliner Schule aus den 1970ern, mal an die streng durchgerechneten Elektronikmusik-Experimente des bildenden Künstlers Carsten Nicolai. Doch es ist etwas ganz Anderes: Die Geräusche stellen die Frequenzen feuernder Neuronen dar – im Gehirn eines realen Menschen, zuvor aufgezeichnet in einem EEG. Theta-Wellen etwa, wie sie im Schlaf auftreten, oder Alpha-Wellen, wie sie bei wachen Menschen aufgezeichnet werden, wenn sie die Augen geschlossen halten. Je nachdem, in welcher Hirnregion die Wellen erfasst wurden, höre ich sie als Sounds an einem anderen Ort im Vorführraum. Ich stehe quasi mitten in einem denkenden Gehirn: Von vorn kommen Impulse von bewusster Kontrolle und Planung, links werden Worte und Symbole verarbeitet, oben in der Mitte körperbezogene Informationen. Die Geschwindigkeit der Klang-Pulse steigt mit der Hirnaktivität. Hilbrich, Steigerwald und Strauch steuern alles über ihre Laptops.
Die drei, alle Ende 20, Anfang 30, haben sich an der Berliner TU kennengelernt, wo sie Audiokommunikation und -technologie studiert haben. Alle drei produzieren nebenbei elektronische Musik oder DJ-Mixe, die sie auf Plattformen wie Soundcloud, Bandcamp oder Spotify veröffentlichen. Hauptberuflich arbeiten sie als Doktoranden im Forschungsbereich Neurodesign des HPI. Dort haben sie auch den Prototypen ihres Projekts Brain Data Sonification zusammengebastelt, den sie mir gerade vorgeführt haben. Hilbrich war dabei vorwiegend für die Programmierungen der Sound-Software zuständig. Strauch, der neben seinem Studium als Veranstaltungstechniker gearbeitet hat, kennt sich mit dem notwendigen Audioequipment aus. Steigerwald ist Musik-Nerd, sammelt Vinylschallplatten und programmiert ebenfalls.
»Ausgedruckte EEG-Daten sehen unheimlich kompliziert aus«, erklärt Hilbrich. Es sind komplexe Wellen, mehrere übereinander, nicht leicht zu interpretieren. Die drei Audiotechnologen wollen die Interpretation vereinfachen und intuitiver machen – durch Data Sonification, also die Verklanglichung von Daten.
Das Ohr anstelle des Auges
Data Sonification ist ein Äquivalent zu Datenvisualisierung: Anstatt in visuelle Werte wie Balkenhöhen, Tortenstück-Breiten oder Farbskalen auf einer Landkarte werden Daten in unterschiedliche Klanginformationen transformiert.
Der kürzlich verstorbene US-amerikanische Technologiephilosoph Don Ihde hat 1976 das visionäre Buch Listening and Voice: Phenomenologies of Sound veröffentlicht. Im Vorwort zur zweiten Auflage lese ich: »So wie die Wissenschaft eine unendliche Anzahl visueller Bilder für praktisch alle Phänomene hervorbringt – von Atomen bis zu Galaxien sind sie uns aus Bildbänden und Wissenschaftsmagazinen bekannt –, so könnte auch ‚Musik’ aus denselben Daten erzeugt werden, die Visualisierungen hervorbringen.«
Data Sonification macht genau das. Durch die klangliche Repräsentation lassen sich komplexe Daten nicht nur leichter und intuitiver erfassen und analysieren; weil Data Sonification das Ohr anstelle des Auges anspricht, können abstrakte Datensätze auch das Herz bewegen. Denn der Mensch ist zwar ein primär visuelles Wesen. Doch Klänge triggern Emotionen viel stärker, als Bilder oder Texte es vermögen. Schon Charles Darwin schrieb 1871 in seinem Klassiker Die Abstammung des Menschen: »Wir können eine größere Intensität des Gefühls in einem einzigen musikalischen Tone concentrieren als in seitenlangen Schriften.«
Data Sonification bewegt sich dabei an der Grenze zwischen Wissenschaft und Ästhetik – und bringt im Idealfall beides zusammen, so wie die zu pluckerndem Ambient sonifizierten EEG-Daten am Potsdamer HPI. Die Methode ermöglicht die emotionale Ansprache eines breiten Publikums – und damit ganz neue Formen der Wissenschaftskommunikation.
»Im Brain-Data-Projekt verbindet sich Neurodesign-Expertise mit audiotechnischer Kunstfertigkeit«, sagt Julia von Thienen. »Zusammen wird geschaffen, was für keine der Disziplinen allein erreichbar wäre.« Wenn man Brain Data Sonification als Band betrachtet, dann ist Julia von Thienen die Managerin, die diese Band zusammengebracht hat. Sie hat als Senior Researcher den Bereich Neurodesign des Instituts gegründet, der Neurowissenschaft und Design verbindet. Ein Schwerpunkt liegt dabei auf Sonic Thinking – als Ergänzung zu der sonst meist klassisch visuellen Orientierung im IT-Design. Erste Projekte am HPI hatte der in der Schweiz geborene Musiker und Wissenschaftler Chris Chafe inspiriert. Er leitet das Center for Computer Research in Music and Acoustics an der Uni Stanford und war vor einigen Jahren Gastdozent am HPI in Potsdam. „Es gibt Rhythmen im Gehirn“, heißt es in der Projektbeschreibung von 2019. Um diese hörbar zu machen, hat von Thienen unter anderem die drei Audiospezialisten ans Institut geholt, die dann das Projekt Brain Data Sonification auf die Beine gestellt haben.
»Schön bei diesem Ansatz ist, dass er gut anhörbar ist«, sagt von Thienen. Selbst ein Laie kann den Klängen auch über einen längeren Zeitraum folgen. Das System könnte einmal bei einer ganzen Brandbreite von Anwendungen zum Einsatz kommen; etwa als Neurofeedback-System, also für computergestütztes Gehirntraining, um Hirnströmungen per EEG zu erfassen, darauf zu reagieren und sich so gezielt in einen kreativen Zustand zu versetzen. Musiker:innen können sogar live die Sounds ihrer Hirnwellen mit gespielten Instrumenten kombinieren. Schon 1965 hat der US-amerikanische Avantgarde-Komponist Alvin Lucier für sein Stück Music For Solo Performer mit einem ähnlichen Setup die Alpha-Wellen seines Gehirns vertont.
Sehr alt und sehr jung
Datenverklanglichung ist zugleich eine sehr alte und eine vergleichsweise junge Methode für den Umgang mit Messdaten. Es gibt sie im Grunde schon, seit Kirchturmuhren den Stand der Zeit in Glockenschlag-Sounds transformiert haben. Und spätestens als Anfang des 20. Jahrhunderts der erste Geigerzähler zu knacken anfing, wurden gemessene Werte gezielt klanglich umgesetzt, in diesem Fall von ionisierender Strahlung. Heute ist Data Sonification im Alltag weit verbreitet, etwa bei dem anschwellenden Piepsen, mit dem ein Auto beim Einparken den Abstand zum nächsten Fahrzeug wiedergibt. Größere Aufmerksamkeit vonseiten der Wissenschaft bekam die Methode allerdings erst nach einer Konferenz: der ersten International Conference on Auditory Display (ICAD) in Santa Fe, New Mexico, im Jahr 1992.
In der Forschung kommt Sonifizierung vor allem dann zum Einsatz, wenn besonders große Datensätze in einem zeitlichen Verlauf begreifbar gemacht werden sollen. Bei solchen sogenannten Audifizierungen werden die Datensätze oft direkt als Audiodaten verwendet – wobei große Zeiträume meist komprimiert und Tonhöhen modifiziert werden, um das Ergebnis ins menschliche Hörspektrum zu bewegen. So hat etwa der Erdbebenforscher Hugo Benioff von der CalTech University bereits 1953 die eigentlich unhörbar tiefen akustischen Aufzeichnungen von Erdbebenwellen sehr schnell abgespielt und auf diese Weise hörbar gemacht. Das Ergebnis ist sogar auf Schallplatte erscheinen: auf der Langspielplatte Out Of This World. Auf dem Cover steht: »Ein Springen der Nadel (beim Abspielen) ist gewollt und gehört zum Wesen des Themas.«
Beim sogenannten Parameter Mapping dagegen werden nicht die Daten selbst in Klang verwandelt. Stattdessen werden bestimmten Datenwerten symbolisch Klänge zugeordnet, wie es etwa auch das Projekt Brain Data Sonification tut. Auch Variablen wie Tonhöhe, Lautheit, Tempo oder Dauer können ausgewählte Entwicklungen und Ereignisse im Datensatz wiedergeben. Auf diese Weise werden heute häufig die Veränderungen im Zuge der Erderwärmung sonifiziert. Wenn ich die rasant ansteigenden Temperaturwerte von Ozeanen oder die explodierenden CO2-Werte in der Atmosphäre höre, bekomme ich Gänsehaut: Es klingt, als würde die Erde schreien. Auch die NASA verwandelt seit einigen Jahren systematisch die Observationsdaten von Teleskopen wie Hubble, dem James Webb Space Telescope oder dem Chandra Röntgen-Observatorium in Klänge, um sie mehr Menschen begreiflich zu machen. Die Röntgen- oder Ultraviolettstrahlungen, die NASA-Sensoren irgendwo im tiefen Weltall erfasst haben, geben mir auf diese Weise eine Ahnung von der Endlosigkeit da draußen: mal als fein perlende, mal als dröhnende Klangskulpturen.
Nicht zu viel und nicht zu wenig
Datenverklanglichungen lassen sich heute mit Web-Apps wie TwoTone vergleichsweise einfach herstellen. Wie auch bei wissenschaftlichen Grafiken ist die Herausforderung dabei allerdings, die richtigen Dimensionen und Parameter zu integrieren, um einen möglichst großen Mehrwert zu schaffen – aber auch nicht zu viele, um Hörer:innen nicht mit zu viel Komplexität zu überlasten. Und wie auch komplexe Grafiken kommen Sonifizierungen nicht ohne eine Legende aus, wenn sie verstanden werden sollen. Im Gegensatz zu grafischen Darstellungen gibt es bislang allerdings kaum etablierte Konventionen, welche Klangparameter welche Datenwerte vermitteln sollen. Meist signalisiert mir ein hoher Ton einen hohen Datenwert. Aber was will mir dann etwa ein Blubbern sagen, das von links nach rechts durch das Stereobild wandert? Das müssen Hörende jedes Mal neu lernen. Zudem sind viele Sounds und Harmonien in unterschiedlichen Kulturen unterschiedlich konnotiert.
Noch jedenfalls hat in weiten Teilen der Welt die visuelle Vermittlung von Daten Vorrang. Die britische Datenjournalistin und Musikerin Miriam Quick spricht sogar von einer Einseitigkeit für das Visuelle: »Menschen vertrauen Infos, wenn sie sie sehen – aber nicht, wenn sie sie nur hören.« Zusammen mit dem Informationsdesigner Duncan Geere betreibt sie das Sonification-Studio Loud Numbers. Die beiden bieten Datenverklanglichungen für NGOs, Kulturinstitutionen und Forschungseinrichtungen an, veröffentlichen einen Podcast zum Thema und stehen auch hinter einer regen kleinen Online-Community namens Decibels, die sich dazu austauscht. Bei unserem Videocall sitzen Quick und Geere rund 1.000 Kilometer voneinander entfernt in ihren jeweiligen Homestudios im schwedischen Malmö und im südwestenglischen Totnes. Sie arbeiten schon immer remote miteinander und sind sich nur ein paar Mal persönlich begegnet. Ich will von den beiden wissen, warum sie Daten in Klang verwandeln. Welchen Mehrwert sehen sie darin?
Miriam Quick: Es gibt die weit verbreitete Vorstellung, dass Daten schnell und präzise vermittelt werden sollten. Dabei ist das gar nicht immer die beste Herangehensweise. Ein impressionistischer Ansatz, der eine Stimmung, eine Atmosphäre, eine Emotion vermittelt, kann in bestimmten Fällen besser funktionieren. Wir haben beispielsweise mal in einem Stück, das von der Eisschmelze in Alaska handelt, die Kurve des CO2-Gehalts in der Luft vertont. Da kann man im Hintergrund diese Sirene hören, deren Ton immer höher und höher und schriller wird. Der Effekt ist aufsteigende Panik. Und die könnte man nun mal nicht mit einer Grafik auslösen.
Duncan Geere: Man kann Klänge verwenden, die so laut sind, dass sie einem körperliche Schmerzen bereiten – aber man könnte ja niemals eine Balkengrafik erstellen, die so lang ist, dass sie wehtut.Das Problem, das wir lösen wollen, ist, dass sich die Leute für viele wichtige Entwicklungen einfach nicht interessieren. Und um ihr Interesse zu wecken, müssen wir klangliche Äquivalente zu Farbe, Fotos und Typographie zum Einsatz bringen.
Ich frage mich: Ist das der Grund, warum die beiden bei ihren Projekten die sonifizierten Daten fast immer auch musikalisch bearbeiten? Loud Numbers hat beispielweise schon Reggae- oder Drum’n’Bass-Tracks produziert und hat eine eigene Seite auf der Musikplattform Bandcamp, auf der man Remixes ihrer Stücke durch Elektronikmusik-Produzent:innen kaufen kann.
Geere: Wir möchten Stücke veröffentlichen, die gut genug sind, dass man sie sich mehrmals anhört. Und der beste Weg, das zu schaffen, sind musikalische Elemente, die wir hinzufügen. Das Ergebnis soll mehr sein als nur piepsende Geräusche, die man schnell wieder vergisst.
Quick: Es kann für uns auch mal tanzbar sein – selbst, wenn die Daten hinter manchen Stücken vielleicht gar nichts aussagen, zu dem man eigentlich tanzen wollen würde.
Die Frage, wie musikalisch eine Sonification sein sollte – und sein darf –, ist umstritten: Wird etwa einfach nur eine Vierviertel-Bassdrum unter verstummende Insektengeräusche geschoben, kann man leicht verdrängen, dass die Artenvielfalt gerade dramatisch zurückgeht – und einfach Spaß haben. Und bei einem tanzbaren Deephouse-Track, der auf Daten zur Klimakrise basiert, fühle ich ja eben nicht, dass die Welt den Bach runter geht – sondern verliere mich einfach in der Musik.
Der Physiker Thomas Hermann, der als Teil der Ambient Intelligence Group an der Uni Bielefeld zu solchen Themen forscht, schickt mir per Mail eine seiner Publikationen. Darin vergleicht er den Unterschied zwischen einer reinen Datensonifizierung und einem auf Daten basierenden Musikstück mit dem zwischen einer informativen wissenschaftlichen Visualisierung und einem künstlerischen Bild: Beides sind angeordnete Farben, beide haben ästhetische Qualitäten – aber das eine ist präzise mit den zugrundeliegenden Daten gekoppelt, während das andere Betrachter:innen vor allem emotional berührt und sie die Informationen eher fühlen lässt. Lieber mehr unterhalten oder lieber mehr informieren? Es hängt vom Thema und vom Ziel der Sonification ab, wo auf dieser Skala sich ein Projekt ansiedelt.
Als ich wieder zuhause bin, lege ich die grandiose Platte On Time Out Of Time auf den Plattenspieler, die der US-amerikanische Ambientmusiker William Basinski 2019 veröffentlicht hat. Für das Album hat Basinski Daten sonifiziert, die das Gravitationswellen-Observatorium LIGO im Deep Space eingefangen hatte. Die Daten geben wieder, wie vor 1,3 Milliarden Jahren zwei schwarze Löcher miteinander verschmolzen sind und dabei massive Gravitationswellen freigesetzt haben. Aber all das müsste ich gar nicht in den Linernotes nachlesen. Dass hier Angelegenheiten verhandelt werden, die mein Vorstellungsvermögen überschreiten, merke ich auch so. Ich drehe die Anlage auf: majestätisches Basswummern, hohes Partikelflirren ganz um mich herum. Ich bin überwältigt.
