在當今數(shù)字化時代，虛擬現(xiàn)實（Virtual Reality，VR）和增強現(xiàn)實(Augmented Reality, AR)技術正迅速成為創(chuàng)新交互體驗的前沿。這些技術通過模擬或增強用戶的視覺和聽覺感知，開辟了全新的沉浸式體驗領域。

特別地，音頻技術在這一進程中扮演著至關重要的角色。它不僅增強了視覺體驗的真實感，還通過聲音的空間定位、動態(tài)反饋和情感表達，為用戶創(chuàng)造了一個全方位、多層次的感官世界。

隨著技術的不斷進步，音頻技術與VR和AR的結(jié)合正逐漸改變我們與數(shù)字世界的互動方式。從游戲到教育，從醫(yī)療到藝術，音頻技術的應用前景無限廣闊。

1．音頻技術在虛擬現(xiàn)實中的應用

在虛擬現(xiàn)實音頻的背景下，一個核心研究問題是空間音頻技術。這種技術通過模擬人類在現(xiàn)實世界中對聲音的三維感知，為每個3D對象提供具有定位感的音頻源。雙耳音頻技術利用了人耳對聲音到達時間差異和強度差異的敏感性，從而實現(xiàn)對聲音來源方向和距離的準確判斷。

在VR環(huán)境中，應用雙耳音頻技術為音頻的創(chuàng)新使用提供了新機遇。它允許虛擬對象擁有可以被精確定位的音頻源。這種音頻源的本地化不僅增強了VR體驗的真實感，而且由于其非視覺的特性，它不會像視覺反饋那樣對用戶的視域造成干擾。這樣的音頻設計可以更加自然地融入VR環(huán)境，使用戶在探索虛擬空間時能夠獲得更加豐富和沉浸式的體驗。[1]

圖1 空間音頻技術

此外，空間音頻技術還可以用于增強用戶對虛擬環(huán)境中事件的感知，例如通過聲音提示用戶注意某個方向的動態(tài)或即將發(fā)生的事情。這種音頻提示可以是微妙的，但卻非常有效，因為它利用了人類對聲音的自然反應，而不需要用戶將注意力從當前任務上轉(zhuǎn)移開。[2]

虛擬現(xiàn)實在不同情境中的應用帶來了許多機遇，同時也面臨著需要克服的新挑戰(zhàn)，其中一些挑戰(zhàn)可以通過有效使用音頻技術來解決。

在用戶/玩家可以自由環(huán)顧其環(huán)境的敘事情境中，可以使用音頻提示來引導用戶的視線和注意力到關鍵點，避免占用有限的視覺空間，并提供持續(xù)的信息流，用于辨別環(huán)境本身的空間屬性。而且聲音具有“始終開啟”的特性，能夠傳遞空間特征，例如通過混響來實現(xiàn)，并且具有全方位屬性，這并不依賴于像頭戴式顯示器這樣的顯示設備的有限視野。

音頻相關技術在虛擬現(xiàn)實中的應用

（1）音頻空間定位技術。通過將立體聲技術與虛擬現(xiàn)實技術相結(jié)合，使得用戶準確的感受聲音的來源以及空間的傳播路徑。這種技術可以使得用戶更好的判斷來自不同方向的聲音，增強虛擬世界的沉浸感。

（2）環(huán)境音效模擬技術。通過音效編輯、混音和特效處理等技術手段,可以模擬各種環(huán)境聲音,如風吹樹葉聲、雨滴聲、水流聲等。這些逼真的環(huán)境音效能夠提升用戶的沉浸感,使虛擬世界與現(xiàn)實世界之間的界限更加模糊。

（3）語言交互技術。通過語音識別和合成技術,用戶可以與虛擬環(huán)境中的虛擬角色進行真實的對話。這種交互方式使得用戶能夠更加便捷地操作虛擬環(huán)境,增加了用戶的參與感與沉浸感。

2．音頻技術在增強現(xiàn)實中的應用

增強現(xiàn)實(Augmented Reality, AR)技術 旨在將計算機生成的虛擬內(nèi)容與物理環(huán)境無縫融合，使虛擬內(nèi)容與現(xiàn)實世界融為一體。

AR可以增強人們對周圍環(huán)境的感知和互動，也可以幫助人們更輕松地完成現(xiàn)實世界的任務。然而，絕大多數(shù)AR研究都集中在視覺增強上。音頻增強現(xiàn)實(Audio Augmented Reality, AAR)仍未得到充分開發(fā)。

在音頻增強現(xiàn)實中，虛擬聽覺內(nèi)容被融合到物理世界中，以增強用戶的真實聲學環(huán)境。模擬真實世界的聽覺。

隨著價格合理的消費級技術的出現(xiàn)，用于交互式3D音頻的收聽和錄制，音頻增強現(xiàn)實體驗的提供變得更加普及。AAR技術通過在真實聽覺環(huán)境中加入虛擬音頻實體，實現(xiàn)了對環(huán)境的擴展。這種技術已經(jīng)被廣泛應用于電話會議、無障礙音頻系統(tǒng)、基于位置的音頻游戲、純音頻游戲、協(xié)作工具、教育以及娛樂等多個領域。[3]

與傳統(tǒng)耳機相比，AAR技術的一個顯著優(yōu)勢在于，它不會在私人聽覺空間和公共聽覺空間之間形成隔閡。AAR技術追求的是聲學透明性，即用戶在使用過程中，應該能夠像沒有佩戴耳機一樣自然地感知周圍環(huán)境，同時難以區(qū)分哪些聲源是真實存在的，哪些是由技術生成的。

然而，實現(xiàn)這種聲學透明性，讓聽者無法區(qū)分真實與虛擬聲源，仍然是該技術領域面臨的一個主要技術挑戰(zhàn)。

在音頻增強現(xiàn)實的研究領域，目前的研究重點主要集中在技術特性上，以及這些技術如何與設備和媒體進行交互。然而，對于用戶體驗的深入探索相對較少。

現(xiàn)有研究涉及了音質(zhì)感知、區(qū)分真實與虛擬聲音的能力、真實感的營造，以及用戶對AAR可穿戴設備的適應性等方面。

AAR的空間音頻和格式技術在沉浸式劇院中的應用，為創(chuàng)造虛構(gòu)空間和平行現(xiàn)實提供了新途徑，能夠以多樣化的方式吸引觀眾，并有可能促進更多的互動、參與和協(xié)作。

沉浸式劇院中的耳機劇院依賴于雙耳聲音技術，這種聲音虛擬現(xiàn)實加強了觀眾的沉浸感，并提升了表演的多模態(tài)體驗。但許多耳機劇院表演因為使觀眾彼此隔離，以及沒有將物理耳機作為表演的一部分來認可，而受到了批評。為了克服這些限制，一些劇院團體已經(jīng)開始在現(xiàn)場表演中使用雙耳錄音設備。

例如，英國國家劇院的《安娜》和英國合拍劇團（Complicité）的《邂逅》等作品，就通過耳機為觀眾提供了更加親密和直接的表演體驗。這些劇目通過結(jié)合增強的聲音效果和現(xiàn)實生活中的互動，創(chuàng)造了一種新型的戲劇體驗，既利用了AAR技術的優(yōu)勢，又保持了現(xiàn)場表演的互動性和共同體驗。[4]

圖2 英國合拍劇團（Complicité）出品的《邂逅》舞臺劇劇照（圖片源于網(wǎng)絡）

微軟的HoloLens 2 是一款混合現(xiàn)實頭戴設備，它通過先進的傳感器和攝像頭捕捉現(xiàn)實世界的環(huán)境信息，然后通過高分辨率的全息圖像疊加在用戶的視野中。HoloLens 2 配備了空間聲音技術，這種技術可以創(chuàng)建3D音頻效果，讓用戶感覺到聲音似乎來自虛擬對象所處的實際空間位置。

例如，在建筑設計中，設計師可以通過HoloLens 2聽到從不同方向傳來的聲音，增強對空間布局的感知，從而提高設計效率和體驗。

圖3 微軟HoloLens增強現(xiàn)實設備

參考文獻

[1]Baker, H. 2022. “Meta: $1 Billion Spent In Quest Store.”UploadVR. Accessed October 17, 2022.

[2] Barlow, C., T. Michailidis, G. Meadow, J. Gouch, and E.Rajabally. 2019. “Using Immersive Audio and Vibrationto Enhance Remote Diagnosis of Mechanical Failure inUncrewed Vessels.” Audio Engineering SocietyConference: 2019 AES International Conference onImmersive and Interactive Audio, York, UK.

[3] M. Comunità, A. Gerino, V . Lim, and L. Picinali, “Design and Evaluation of a Web- and Mobile-Based Binaural Audio Platform for Cultural Heritage,”Appl. Sci., vol. 11, no. 4, paper 1540 (2021 Feb.)

[4] S. Russell, G. Dublon, and J. A. Paradiso,“HearThere: Networked Sensory Prosthetics Through Auditory Augmented Reality,” in Proceedings of the 7th Augmented Human International Conference, paper 20.