von Alan Fabian

Im WiSe 2024/25 habe ich in der Lehrveranstaltung Medienprojekt: Konzept ein Setting für ein 4D Sound-Game im Tonstudio zusammen mit den Studierenden bespielt. Das Spiel habe ich als ein Open-World-Game konzipiert, in dem eine Spielperson von einem Performance-›Klangtheater-Ensemble‹ interaktiv ›bespielt‹ wird.

Ambisonics Mikrofonie live mit Kopfhörer-Headtracking

In der Tonregie war ein 3D Audio Ambisonics-Mikrofon (Røde NT-SF1 1st Order) über ein Audiointerface (Steinberg AXR4) mit der DAW Reaper verkabelt, in der mittels Ambisonics-Decoder (Røde Soundfield, IEM Plugin-Suite) das vierkanalige Audiosignal in Echtzeit in ein AmbiX B-Format und dann in ein binaurales Stereo-Signal decodiert wurde. Dieses 3D-Stereo-Signal wurde aus Reaper heraus über Bluetooth an einen bluetoothfähigen Headtracking-Kopfhörer gesendet (Apple AirPodMax). Die Headtracking-Daten des Kopfhörers (X,Y,Z Rotationsachsen) wurden über eine Software (Headitude) gesendet und von da aus über OSC in Reaper an ein 3D-Head-Rotation Plug-in (IEM Plug-in Suite).

Mit diesem audiotechnischen Setting war es möglich das Ambisonics-Mikrofon in der Tonregie zu bespielen und im damit verbundenen Kopfhörer nicht nur im binauralen 3D Stereo zu erhören, sondern auch sich im 3D Audiofeld mit Kopfbewegungen ›umzuhören‹: ein interaktives 3D Audio-Monitoring war aufgesetzt.

Sensorgesteuerte Atmo

Zusätzlich zu dieser 3D Audio-Mikrofon-Spur waren Atmo-Spuren aufgesetzt, deren Luatstärke sowie Halleffekte (Reverb-Plug-in) mittels interaktiver Apps (MiMU Gliss mit der Software MiMU Glover) mit Handbewegungen auf iPhones vom Soundtheater-Ensemble geregelt werden konnten.

Live Foley-Sounds

Im Aufnahmestudio-Raum war ein Foley-Setup aufgebaut mit einem mikrofonierten Spielfeld bestehend aus zwei Laufuntergründe für Schritte-Geräusche (trockene Blätter und Schotter) Wasserbehältern (am Boden und auf dem Tisch) und einer Sitzgelegenheit (mit einem Fußabtreter).

Die Foley-Mikrofone wurden in Reaper in einzelne Audiospuren kanalisiert, in denen für die Wasserbehälter-Mikrofone mittels Ambisonics-Encoder (IEM Plug-in Suite) die Anordnung der Wasserbehälter im Raum im 3D-Audiofeld positioniert und auf die Spieler*innen-Kopfhörer gesendet wurden.

Sound-Theater-Ensemble und Spieler*in

Der Gesamt-Mix bestehend aus Ambisonics-Mikrofon, Atmo und Foley-Echtzeit-Sounds wurde auf die Monitoring-Kopfhörer des Sound-Theater-Ensembles kanalisiert.

Gemäß eines Skripts mit allen nötigen Text-, Klang und Regie-Anweisungen für live Foley-SoundFX (z.B. Fluggeräusche mit einer Jacke) hat dann das Sound-Theater-Ensemble vom Tonregieraum den*die Spieler*in im Aufnahmestudio-Raum mittels 3D-Echtzeit-Mikrofonie interaktiv bespielt. Der*die Spieler*in hat sich dabei in einem virtuellen 3D-Audioraum (auf der Stelle) bewegt. Dabei haben die Handlungen auf dem Foley-Spielfeld das 3D-Klangerlebnis um eine vierte Dimension (4D) aufgrund der Haptik (ins Wasser Greifen, auf Untergründen laufen, die Fußmatte erfühlen) erweitert.

Klangaufgaben

In der Spielszene sind von dem*der Spieler*in verschiedene Klangaufgaben zu bewältigen, die dem Spielziel näher führen:

Skript

von Finja Otremba

Im SoSe 2025 hat Finja Otremba ihr Medienprojekt-Konzept aus dem WiSe 2024/25 realisiert und in der Abschlusspräsentation im Tonstudio im Medialab präsentiert: Ein Sound Game in 3D Spatial Audio und 360°-Streetview.

Finja hat dafür ein Games-Framework in Godot programmiert, das es ermöglicht 360°-Ambisonics-Aufnamhmen (3D Audio/Foto) zu importieren und interaktiv erlebbar zu machen: der*die Spieler*in navigiert auditiv in 360° an Standorten in Bayreuth und ordnet diese dann in einer Bayreuth-Map zu. Der*die Spieler*in muss sich dabei ausschließlich nur auf das Gehörte fokussieren, das Hörwahrnehmungsgedächtnis wird befragt.

Die audiovisuellen 360°-Aufnahmen hat die Spielentwicklerin mit einem Zoom H3 VR und einer Insta360 X5 Kamera in Bayreuth gemacht, wie zum Beispiel im Ökologisch-Botanischen Garten am Bienenhaus.

Weitere Aufnahmeorte waren der Canale Grande, die Stadtkirche, das Stadtparkett, das Campus Rondell der Uni, der Sonnentempel im Hofgarten, der Tierpark am Röhrensee und eine Eisenbahnbrücke.

Das Spiel startet mit dem Abspielen der Audio-Aufnahme eines zufällig ausgewählten Ortes. Je nach Schwierigkeitsgrad ist ein Zeitlimit vorgegeben, in dem sich die Spieler*innen an allen zur Auswahl stehenden Orte auf einer Google-Map in einem interaktiven 360°-View während dem Hören ›umsehen‹ können.

Die Spieler*innen bewegen sich dabei nicht nur visuell im 360°-View, sondern auch in der 360°-Audioaufnahme, so dass sie sich im Wortsinne ›umhören‹ können an diesem Klangort. Wenn die Auswahl richtig ist, also der Klang zum Ort passt, dann gibt es dafür Punkte und es geht weiter zum nächsten zufällig ausgewählten Ort mit einer Audioaufnahme, die nicht zum Bild passt.

Wenn alle Audioaufnahmen zugeordnet sind, ist das Spiel zu Ende und die Spieler*innen können sich in einen Highscore eintragen.

Bei der Mediennacht 2025 im Cineplex Bayreuth ist dieses Sound Game spielbar.