von Alan Fabian

Im WiSe 2024/25 habe ich in der Lehrveranstaltung Medienprojekt: Konzept ein Setting für ein 4D Sound-Game im Tonstudio zusammen mit den Studierenden bespielt. Das Spiel habe ich als ein Open-World-Game konzipiert, in dem eine Spielperson von einem Performance-›Klangtheater-Ensemble‹ interaktiv ›bespielt‹ wird.

Ambisonics Mikrofonie live mit Kopfhörer-Headtracking

In der Tonregie war ein 3D Audio Ambisonics-Mikrofon (Røde NT-SF1 1st Order) über ein Audiointerface (Steinberg AXR4) mit der DAW Reaper verkabelt, in der mittels Ambisonics-Decoder (Røde Soundfield, IEM Plugin-Suite) das vierkanalige Audiosignal in Echtzeit in ein AmbiX B-Format und dann in ein binaurales Stereo-Signal decodiert wurde. Dieses 3D-Stereo-Signal wurde aus Reaper heraus über Bluetooth an einen bluetoothfähigen Headtracking-Kopfhörer gesendet (Apple AirPodMax). Die Headtracking-Daten des Kopfhörers (X,Y,Z Rotationsachsen) wurden über eine Software (Headitude) gesendet und von da aus über OSC in Reaper an ein 3D-Head-Rotation Plug-in (IEM Plug-in Suite).

Mit diesem audiotechnischen Setting war es möglich das Ambisonics-Mikrofon in der Tonregie zu bespielen und im damit verbundenen Kopfhörer nicht nur im binauralen 3D Stereo zu erhören, sondern auch sich im 3D Audiofeld mit Kopfbewegungen ›umzuhören‹: ein interaktives 3D Audio-Monitoring war aufgesetzt.

Sensorgesteuerte Atmo

Zusätzlich zu dieser 3D Audio-Mikrofon-Spur waren Atmo-Spuren aufgesetzt, deren Luatstärke sowie Halleffekte (Reverb-Plug-in) mittels interaktiver Apps (MiMU Gliss mit der Software MiMU Glover) mit Handbewegungen auf iPhones vom Soundtheater-Ensemble geregelt werden konnten.

Live Foley-Sounds

Im Aufnahmestudio-Raum war ein Foley-Setup aufgebaut mit einem mikrofonierten Spielfeld bestehend aus zwei Laufuntergründe für Schritte-Geräusche (trockene Blätter und Schotter) Wasserbehältern (am Boden und auf dem Tisch) und einer Sitzgelegenheit (mit einem Fußabtreter).

Die Foley-Mikrofone wurden in Reaper in einzelne Audiospuren kanalisiert, in denen für die Wasserbehälter-Mikrofone mittels Ambisonics-Encoder (IEM Plug-in Suite) die Anordnung der Wasserbehälter im Raum im 3D-Audiofeld positioniert und auf die Spieler*innen-Kopfhörer gesendet wurden.

Sound-Theater-Ensemble und Spieler*in

Der Gesamt-Mix bestehend aus Ambisonics-Mikrofon, Atmo und Foley-Echtzeit-Sounds wurde auf die Monitoring-Kopfhörer des Sound-Theater-Ensembles kanalisiert.

Gemäß eines Skripts mit allen nötigen Text-, Klang und Regie-Anweisungen für live Foley-SoundFX (z.B. Fluggeräusche mit einer Jacke) hat dann das Sound-Theater-Ensemble vom Tonregieraum den*die Spieler*in im Aufnahmestudio-Raum mittels 3D-Echtzeit-Mikrofonie interaktiv bespielt. Der*die Spieler*in hat sich dabei in einem virtuellen 3D-Audioraum (auf der Stelle) bewegt. Dabei haben die Handlungen auf dem Foley-Spielfeld das 3D-Klangerlebnis um eine vierte Dimension (4D) aufgrund der Haptik (ins Wasser Greifen, auf Untergründen laufen, die Fußmatte erfühlen) erweitert.

Klangaufgaben

In der Spielszene sind von dem*der Spieler*in verschiedene Klangaufgaben zu bewältigen, die dem Spielziel näher führen:

Skript