Air Race X: AFC Image přináší do Shibuyi zvuk rozšířené reality

V říjnu 2023 se v rámci digitálního kola Air Race X Shibuya proháněla virtuální letadla ulicemi Shibuyi v Japonsku. Při prvním leteckém závodě na světě, který se konal prostřednictvím rozšířené reality (XR), byl nezbytnou součástí podívané realistický zvuk. Technologie Yamaha AFC Image pro pohlcující zvuk zajistila, že událost byla vzrušujícím a velmi realistickým zážitkem.

Závodění sportovních jednoplošníků rychlostí až 370 km/h ve městě je samozřejmě nepraktické, a tak byl závod Air Race X vyvinut jako "Formule 1 na obloze", aby vytvořil atmosféru a podívanou virtuálních závodů letadel v ulicích. Osm předních světových pilotů leteckých závodů létalo na identické trati na vzdálených místech po celém světě, přičemž přesné údaje o letu shromažďovalo a analyzovalo ústředí soutěže. Tato data pak byla použita k vytvoření série virtuálních "závodů" přes Shibuyi, přičemž diváci sledovali animace letadel prostřednictvím brýlí rozšířené reality (AR) a chytrých telefonů.

Výzva

„S Air Race X jsme chtěli vytvořit nový, dosud nevídaný styl diváckého sportu," říká (pan Tsutsumi ze společnosti PATHFINDER Co., Ltd.). „Chtěli jsme reprodukovat sílu a polohu zvuku motoru letadla způsobem, který je pro motoristický sport jedinečný, v diváckém prostředí AR.“

Při sledování tohoto "pětirozměrného motoristického sportu, který překračuje čas a prostor", se diváci shromáždili v městské hale Shibuya QWS, což je síťový a kreativní prostor v 15. patře mrakodrapu Shibuya Scramble Square. Odtud mohli sledovat virtuální letadla (využívající skutečná letová data) letící po virtuální trati.

Zvuk byl zásadním prvkem pro vytvoření realistického dojmu, že letadla skutečně letí, nicméně běžný stereofonní PA systém by nebyl schopen vytvořit dostatečně realistický pocit pohybu zvuku.

Také pouhá reprodukce zdroje zvuku nestačila k vytvoření pocitu realističnosti. Zvuk, který se dostává k našim uším, nejsou jen přímé vlny, ale také ty, které se odrážejí od budov a dalších objektů. To byla další výzva, které tým Yamaha čelil, protože odražené zvuky, které by vznikaly od městských budov v Shibuyi, nevznikaly na volném prostranství, kde se nahrávky pořizovaly.

Řešení

Pod vedením vedoucího Hiromu Ohgiho nasadila divize Yamaha Professional Solutions Spatial Audio Group patentovaný systém Yamaha Active Field Control (AFC) Image, který lokalizuje zvuk pro diváky a maximalizuje dojem, že virtuální letadlo vydává skutečný zvuk.

„Systém AFC Image dokáže pokrýt oblast o rozloze až jednoho kilometru čtverečního (0,4 čtvereční míle) a je také schopen simulovat útlum vzdálenosti. To znamená, že jsme byli schopni reprodukovat pohyb zvukového obrazu a změny hlasitosti na vzdálenost až jednoho kilometru, a reprodukovat tak velmi realistické zvuky letu," říká Hiromu.

Systémy AFC mohou využívat protokol OSC (Open Sound Control), což pro tuto aplikaci znamenalo, že užitečná data, která přímo nesouvisejí se zvukem - například informace o poloze letu - mohla být použita k přenosu informací do systému AFC Image pro vykreslení polohy virtuálního letadla ve vzdušném prostoru Shibuya.

Zvuky byly reprodukovány pomocí 13 dvoupásmových reproduktorů Yamaha DZR10-D vybavených systémem Dante a jednoho subwooferu DXS15XLF-D vybaveného systémem Dante. Systém AFC Image, umístěný na podlaze ve vzdálenosti přibližně dvou metrů od sebe, reprodukoval zvukové pohyby letadel tak plynule a realisticky, že i při rozestupech mezi reproduktory zněly dokonale přirozeně.

„Abychom vytvořili realističtější zvukový prostor, použili jsme systém 3D Reverb společnosti AFC Image," dodává Hiromu. „Jedná se o jedinečný efekt, který poskytuje dozvuk s odraženou strukturou zvuku na základě polohy zdroje. Abychom přesně vytvořili hluk letadla letícího kolem Šibuje, vytvořili jsme předvolbu, kde je energie raných odrazů vysoká, aby napodobovala odraz od budov, zatímco pozdní dozvuky téměř neexistují, jako by se zvuk ztrácel v dálce. Diváci říkali, že je to, jako by z toho zvuku vycítili polohu letadla!"

„Lidé byli velmi zaujati, když jsme jim vysvětlili, že systém počítá s ozvěnou okolních budov, aby byl zvuk co nejrealističtější," dodává pan Tsutsumi. „Zvuk a vibrace byly tak silné, že to vypadalo, jako by se diváci nacházeli venku, přestože byli uvnitř. Zážitek z toho, že jste zvuk cítili celým tělem, a ne jen slyšeli, a tento pocit se měnil podle toho, jak virtuální letadlo prolétalo, byl velmi dobrý."

Celý systém reprodukce zvuku byl zapojen do sítě Dante a používal DAW Steinberg Nuendo pro směrování zvuku z počítače s kartou AIC-128D Dante Accelerator do digitálního mixážního pultu Yamaha CL1 a procesoru AFC a poté do jednotlivých reproduktorů.

K odesílání informací o poloze zdroje zvuku do systému AFC Image prostřednictvím OSC byl použit řídicí počítač s prostředím Cycling '74 Max8. Synchronizace mezi údaji o poloze zdroje zvuku a přehrávaným zdrojem zvuku byla vytvořena pomocí MIDI; řídicí signály MIDI odeslané z Max8 do Nuenda umožnily ovládání přehrávání Nuenda softwarem Max8.

Vizualizace AR byla reprodukována na zařízení Psychic VR Lab Inc. SYFLY VR/AR. Synchronizace s AR byla vytvořena na základě času, přičemž Max8 byl nastaven tak, aby automaticky přehrával zdroj zvuku podle času.

„Naším plánem je vytvořit z Air Race X celosvětovou událost světové úrovně a věříme, že propojení rozšířené reality (XR) a zvukové technologie je pro její rozvoj nezbytné," říká pan Tsutsumi. „Díky propagaci realistického létání letadel v rámci Air Race X jsme mohli spolupracovat s lidmi z oblasti XR a zvukové produkce, se kterými jsme nikdy předtím nepřišli do styku. Bylo to pro nás opravdu podnětné a rádi bychom rozšířili využití tohoto druhu systému i na další akce."

“AFC systém“