AI驅動的耳機通過語音克隆和3D空間音頻提供群組翻譯

華盛頓大學（University of Washington）的博士生陳拓超（Tuochao Chen）最近參觀了墨西哥的一家博物館。陳不會說西班牙語，所以他在手機上運行了一個翻譯應用程序，并將麥克風對準導游。但即使在博物館相對安靜的地方，周圍的噪音也太大了。由此產生的文本毫無用處。

最近出現了各種技術，有望實現流暢的翻譯，但這些都沒有解決陳的公共空間問題。例如，Meta 的新眼鏡只能與隔離揚聲器一起使用;他們會在說話人完成后播放自動語音翻譯。

現在，Chen 和威斯康星大學的一組研究人員設計了一種耳機系統，可以同時翻譯多個揚聲器，同時保留人們聲音的方向和質量。該團隊構建了這個名為 Spatial Speech Translation 的系統，并使用裝有麥克風的現成降噪耳機。該團隊的算法將空間中的不同說話者分開，并在他們移動時跟隨他們，翻譯他們的語音，并以 2-4 秒的延遲播放。

華盛頓大學的研究人員設計了一種耳機系統，可以同時翻譯幾個人說話，跟隨他們的移動并保留他們聲音的方向和質量。該團隊構建了這個名為 Spatial Speech Translation 的系統，并使用配有麥克風的現成降噪耳機。圖片來源：Chen et al./CHI '25
該團隊于 4 月 30 日在日本橫濱舉行的 ACM CHI 計算系統中的人為因素會議上展示了他們的研究。概念驗證設備的代碼可供其他人構建。“其他翻譯技術是建立在只有一個人在說話的假設之上的，”資深作者、華盛頓大學計算機科學與工程學院的教授Shyam Gollakota說。“但在現實世界中，你不能只有一個機器人聲音為一個房間里的多人說話。我們第一次保留了每個人的聲音及其來源。