中关村在线

极客

只需双声道耳机 腾讯3D音效算法助力VR实时语音

VR制作公司Jaunt的音频首席工程师亚当·桑默斯曾说过:“(在VR这件事上面),听觉占了五成,视觉占剩下五成。”对于沉浸感而言,听觉显然十分重要,而厂商们正在努力探索以低成本实现高质量3D音频的方式,这其中就包括腾讯。

3D音效(图片来自映维网)

以往3D音效制作都是基于游戏开发引擎实现,尽管效果很逼真,但也不万能,例如其无法实现3D实时语音。对于腾讯音视频实验室目前研究的3D音效算法,其不仅可以不靠特殊硬件直接模拟出3D音效,还能让用户在任何普通耳机上体验3D实时语音的效果。

1. 3D音频处理算法的原理

腾讯表示,我们人之所以会听到“3D”声音,这是因为同一个声音传到左右耳里的音量、延时等信息是不一样的。借助特定的算法,我们可以调整相关的参数,模拟人在空间内不同位置听到声音的方位感,并且实现不同环境下的声音反射效果,比如野外,音乐厅或者小轿车内。 更重要的是,这种技术可以应用到实时语音中,结合位置,让你说出来的话直接变成“3D”。

音频设备位置(图片来自映维网)

我们都已经熟悉电影院和家庭影院的立体声,而这种立体声效果实际上是依赖于多个不同位置的音箱。对于耳机,不管视频原来有多少个声道,在处理后我们都只能听到左中右三个声道,这模糊了一系列的声音细节和变化。

腾讯音视频实验究表示,他们正在研发的3D音效技术可以在空间中“虚拟”出各个音箱,并把视频的各个声道还原到相应的位置,这听起来就像把电影院搬到了手机里一样,而你需要的仅仅只是一副普通的双声道耳机。

2. 3D音频处理算法的应用

2.1 增加临场感

随着VR头显的兴起,双声道音频变得更加重要。通过将每个麦克风放置在耳朵所在的位置,在播放期间的音频听上去就会像是你亲临现场一般。比如当你侧对一扇门时,如果门关上了,一边耳朵听到的声音会比另一边耳朵听到的声音更大。与一般的立体音频相比,这样的效果将使得VR内容更加身临其境。另外,腾讯即将上线的一款自研VR游戏中将会应用腾讯音视频实验室的这项技术成果。

2.2 3D实时语音

无论是社交VR还是远程会议,3D音频对虚拟现实的多用户场景的重要性不言而喻,因为普通音频下的多人VR只会出现叽叽喳喳,根本分不清谁是谁的场景。腾讯指出,3D实时语音可以实现一种戏剧性的效果:亦即我们发出和听到的声音都会根据位置变化而实时改变。通过将各个声音虚拟到空间相应位置,极大增加真实感,你玩起来就会像真的跟好友在同一个房间一样。

腾讯音视频实验室指出,他们正在不断开拓3D音效技术的新应用,希望可以为我们打开听觉新体验的大门。

(文章转载自映维网)

展开全文
人赞过该文
内容纠错

相关电商优惠

Pico 4 128GB

Pico 4 128GB

2499
816人评分
100%好评
华为VR Glass

华为VR Glass

949
749人评分
96%好评
HTC Vive Pro专业版

HTC Vive Pro专业版

6888
66人评分
100%好评

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多
说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具