Nature Electronics | 頭戴式耳機產(chǎn)生聲音氣泡以增強聽覺

美國華盛頓大學（University of Washington）Tuochao Chen, Malek Itani，Shyamnath Gollakota等提出了一種產(chǎn)生聲音氣泡的智能耳機系統(tǒng)。他們稱之為 Sound Bubble，能夠抑制 1-2 米虛擬氣泡之外的任何噪音，為內(nèi)部的平靜對話提供條件。相關(guān)研究工作以“Hearable devices with sound bubbles”為題發(fā)表于《Nature Electronics》。

人類聽覺系統(tǒng)在擁擠的環(huán)境中感知距離和區(qū)分說話人的能力有限。一種可以產(chǎn)生音泡的耳機技術(shù)，其中氣泡內(nèi)的所有揚聲器都可以聽到，但氣泡外的揚聲器和噪音被抑制，可以增強人類的聽覺。然而，開發(fā)此類技術(shù)具有挑戰(zhàn)性。

美國華盛頓大學Tuochao Chen等人提出的帶有內(nèi)置 AI 的特殊耳機，他們稱之為 Sound Bubble。能夠抑制 1-2 米虛擬氣泡之外的任何噪音，為內(nèi)部的平靜對話提供條件。

耳機技術(shù)。圖片來源：Nature Electronics （2024）

“人類并不擅長通過聲音感知距離，尤其是當他們周圍有多個聲源時，”資深作者、華盛頓大學 Paul G. Allen 計算機科學與工程學院教授 Shyam Gollakota 說。

“在嘈雜的餐廳等地方，我們關(guān)注附近人的能力可能會受到限制，因此到目前為止，在耳戴式設備上創(chuàng)建聲音氣泡是不可能的。我們的 AI 系統(tǒng)實際上可以學習房間中每個聲源的距離，并在 8 毫秒內(nèi)在助聽器本身上實時處理。

利用可聽戴設備，創(chuàng)建聲音氣泡

研究人員使用市售的降噪耳機創(chuàng)建了原型。他們在頭帶上貼了六個小麥克風。該團隊的神經(jīng)網(wǎng)絡在連接到耳機的小型板載嵌入式計算機上運行，可跟蹤不同聲音何時到達每個麥克風。

合成數(shù)據(jù)評估

“我們之前使用過一個智能揚聲器系統(tǒng)，將麥克風分散在桌子上，因為我們認為麥克風之間需要很長的距離才能提取有關(guān)聲音的距離信息，”Gollakota 說。

“但后來我們開始質(zhì)疑我們的假設。我們需要一個大的分離來創(chuàng)造這個 “聲音氣泡” 嗎？我們在這里表明的是，我們沒有。我們能夠只用耳機上的麥克風實時完成，這真是令人驚訝。

合成數(shù)據(jù)評估

用于真實世界數(shù)據(jù)收集的機器人平臺

為了訓練系統(tǒng)在不同環(huán)境中創(chuàng)建氣泡，研究人員需要一個在現(xiàn)實世界中收集的基于距離的聲音數(shù)據(jù)集，而該數(shù)據(jù)集不可用。為了收集這樣的數(shù)據(jù)集，他們將耳機戴在人體模型頭上。

真實世界評估

機器人平臺旋轉(zhuǎn)頭部，同時移動的揚聲器播放來自不同距離的噪音。該團隊使用人體模型系統(tǒng)以及 22 個不同室內(nèi)環(huán)境（包括辦公室和生活空間）中的人類用戶收集數(shù)據(jù)。

研究人員已經(jīng)確定該系統(tǒng)有效有幾個原因。首先，佩戴者的頭部會反射聲音，這有助于神經(jīng)網(wǎng)絡區(qū)分來自不同距離的聲音。其次，聲音（如人類語音）具有多個頻率，每個頻率在從源頭傳播時都會經(jīng)歷不同的階段。

研究人員認為，該團隊的 AI 算法正在比較每個頻率的相位，以確定任何聲源（例如，一個人在說話）的距離。

降噪耳機的端到端實時集成

像 Apple 的 AirPods Pro 2 這樣的耳機可以放大佩戴者面前人的聲音，同時減少一些背景噪音。但這些功能的工作原理是跟蹤頭部位置并放大來自特定方向的聲音，而不是測量距離。這意味著耳機無法同時放大多個揚聲器，如果佩戴者將頭從目標揚聲器上移開，耳機就會失去功能，并且在減少來自揚聲器方向的響亮聲音方面效果不佳。

該系統(tǒng)已經(jīng)過訓練，只能在室內(nèi)工作，因為在室外更難獲得干凈的培訓音頻。接下來，該團隊正在努力使該技術(shù)在助聽器和降噪耳塞上發(fā)揮作用，這需要一種新的麥克風定位策略。

文章鏈接：

https://www.nature.com/articles/s41928-024-01276-z