/360度视频的音频处理

Created Sun, 14 Nov 2021 16:52:20 +0800 Modified Fri, 09 Aug 2024 13:25:47 +0000
1161 Words 5 min

背景

空间音频是一种全球状空间环绕的声音方式,采用多个声音通道来模拟现实世界中听到的声音。

360 度视频由于空间音频而变得更加可靠,因为声音的通道特性使其能够穿越时间和空间。

360 度视频显示系统在制作空间音频音轨方面的重要性无论怎样强调都不为过

空间音频的再现技术

物理重建

物理重建技术用于合成尽可能接近所需信号的整个声场。

立体声配置在最流行的声音再现方法中使用两个扬声器,以促进更多的空间信息(包括距离、方向感、环境和舞台合奏)。而多信道再现方法在声学环境中使用,并在消费类设备中流行。

多信道再现技术

同样的声压场也通过其他物理重建技术产生,如环境中存在的环境声学和波场合成(WFS)。

需要麦克风阵列来捕获更多的空间声场。

因为不能直接用于声场特性分析,麦克风记录的内容需要后期处理。

麦克风阵列用于语音增强、声源分离、回声消除和声音再现。

感知重建

心理声学技术用于感知重建,以产生对空间声音特征的感知。

感知重建技术复制空间音频的自然听觉感受来表示物理音频。

双耳录制技术

双耳录制技术是立体声录制的一种扩展形式,提供 3D 的听觉体验。

双耳录制技术通过使用两个 360 度麦克风尽可能的复制人耳,这与使用定向麦克风捕捉声音的常规立体声录音相同。

假人头部的 360 度麦克风用作人耳的代理,因为它提供了耳朵的精确几何坐标。

假人头部还产生与人头轮廓相互作用的声波。借助 360 度麦克风,与任何其他记录方法相比,空间立体图像的捕获更精确。

头部相关传递函数(HRTF)

用于双耳音频的实时技术中,以再现复杂的线索,帮助我们通过过滤音频信号来定位声音。

多个因素(如耳朵、头部和听力环境)会影响线索,因为在现实中,我们会重新定位自己以定位声音。

选择合适的录音/重放技术对于使听到的声音与真实场景中的体验相同至关重要。

环境声学

概述

环境声学也被称为 3D 音频,被用于记录、混成和播放一个中心点周围的 360 度音频。

区别

环境音频和传统的环绕声技术不同。

  1. 双声道和传统环绕声技术背后的原理是相同的,都是通过将声音信号送到特定的扬声器来创建音频。

    环境音频不受任何特定扬声器的预先限制,因为它在即使音域旋转的情况下,也能创造出平滑的音频。

  2. 传统环绕声的格式只有在声音场景保持静态的情况下才能提供出色的成像效果。

    环境音频提供一个完整的球体,将声音均匀地传播到整个球体。

格式

环境音频有 6 种格式,分别为:A、B、C、D、E、G。

用途

一阶环境音频的用途

第一阶的环境音频或 B 格式的环境音频,其麦克风用于使用四面体阵列表示线性 VR。

此外,这些在四个通道中进行处理,例如提供非定向压力水平的“W”。同时,“X、Y 和 Z”分别促进了从前到后、从侧到侧以及从上到下的方向信息。

一阶环境音频仅适用于相对较小的场景,因为其有限的空间保真度会影响声音定位。

高阶环境音频的用途

高阶环境音频通过增加更多的麦克风来增强一阶环境音频的性能效率。

总结

image-20211114175508284