游戏开发中的音频与图形技术

# 游戏开发中的音频与图形技术 ## 1. 音频录制与回放原理 ### 1.1 理论基础 从理论上讲，音频录制和回放的原理相当简单。录制时，我们会记录形成声波的分子在空间某区域施加特定压力的时间点。而回放这些数据，只需让扬声器周围的空气分子像录制时那样摆动和移动即可。 ### 1.2 实际操作 在实际操作中，情况会更复杂一些。音频通常有模拟和数字两种录制方式，两种方式都需使用麦克风，麦克风一般包含一个膜片，它能将分子的推力转化为某种信号。模拟和数字录制的区别在于信号的处理和存储方式。这里我们主要探讨数字录制。 ### 1.3 数字录制 数字录制音频意味着在离散的时间步长内测量并存储麦克风膜片的状态。膜片会根据周围分子的推力相对于中性状态向内或向外移动，这个过程称为采样。单位时间内的采样数量称为采样率，通常以赫兹（Hz）为单位，每秒采样数越多，音频质量越高。例如，CD 的采样率为 44,100Hz（即 44.1KHz），而电话线路传输语音时常见的采样率为 8KHz。 ### 1.4 采样数据存储 采样率只是影响录制质量的一个因素，存储每个膜片状态样本的方式也很重要，同样需要进行数字化处理。膜片状态即膜片与其中性状态的距离，由于膜片向内或向外移动有区别，所以我们记录带符号的距离。膜片状态可以用多种方式存储，如 8 位、16 位或 32 位有符号整数，32 位浮点数，甚至 64 位浮点数。每种数据类型的精度有限，例如 8 位有符号整数可存储 127 个正距离值和 128 个负距离值，32 位整数的分辨率则更高。当以浮点数存储时，膜片状态通常会归一化到 -1 到 1 的范围内。膜片状态也称为振幅，代表撞击它的声音的响度。 ### 1.5 单声道与立体声 使用单个麦克风只能录制单声道声音，会丢失所有空间信息。使用两个麦克风可以在空间的不同位置测量声音，从而获得立体声。例如，在发声物体的左右两侧各放置一个麦克风，当通过两个扬声器同时播放声音时，就能合理地重现音频的空间成分。但这也意味着存储立体声音频时需要存储两倍数量的样本。 ### 1.6 音频回放 回放过程相对简单。一旦我们有了特定采样率和数据类型的数字音频样本，就可以将这些数据输入到音频处理单元，它会将信息转换为信号发送给连接的扬声器。扬声器将信号解释并转换为膜片的振动，进而使周围的空气分子移动并产生声波，这与录制过程正好相反。 ## 2. 音频质量与压缩 ### 2.1 质量与存储需求 音频质量取决于采样率和存储每个样本的数据类型，采样率越高、数据类型精度越高，音频质量越好，但也意味着需要更多的存储空间。例如，录制一段 60 秒的声音，采样率为 8KHz、每个样本 8 位时，每秒需要 8,000 字节，60 秒共需 480,000 字节（约半兆字节）；而采样率为 44KHz、每个样本 16 位时，每秒需要 88,000 字节，60 秒共需 5,280,000 字节（略超过 5 兆字节）。一首通常 3 分钟的流行歌曲以这种高质量录制，单声道就需要超过 15 兆字节，立体声则需要两倍的存储空间。 ### 2.2 压缩算法 为了减少音频录制所需的字节数，人们发明了复杂的心理声学压缩算法。这些算法会分析未压缩的音频录制并输出更小的压缩版本。压缩通常是有损的，即会省略原始音频的一些次要部分。当播放 MP3 或 OGG 格式的音频时，实际上是在听压缩的有损音频。使用这些格式可以帮助我们减少磁盘上存储音频所需的空间。 ### 2.3 压缩文件回放 虽然有针对各种压缩音频格式的专用解码硬件，但常见的音频硬件通常只能处理未压缩的样本。在将样本输入音频卡之前，我们必须先读取并解压缩它们。可以一次性解压缩并将所有未压缩的音频样本存储在内存中，也可以根据需要从音频文件中流式传输部分样本。 ### 2.4 实际应用 在游戏开发中，由于即使 3 分钟的歌曲也会占用大量内存，所以游戏音乐通常采用流式传输音频样本的方式，而不是将所有音频样本预加载到内存中。对于短音效，如爆炸或枪声，情况有所不同。我们通常希望同时多次播放音效，从磁盘流式传输每个音效实例的音频样本不是一个好主意。幸运的是，短音效占用的内存不多，因此我们会将音效的所有样本读取到内存中，以便直接同时播放。 ### 2.5 音频接口需求 我们需要满足以下需求： - 有加载音频文件以进行流式回放和内存回放的方法。 - 有控制流式音频回放的方法。 - 有控制完全加载音频回放的方法。 这些需求直接转化为以下接口： #### 2.5.1 Audio 接口 ```java package com.badlogic.androidgames.framework; public interface Audio { public Music newMusic(String filename); public Sound newSound(String filename); } ``` Audio 接口用于创建新的 Music 和 Sound 实例。Music 实例代表流式音频文件，Sound 实例代表完全存储在内存中的短音效。`Audio.newMusic()` 和 `Audio.newSound()` 方法都接受一个文件名作为参数，如果加载过程失败（例如指定的文件不存在或损坏），会抛出 IOException。文件名指的是应用程序 APK 文件中的资产文件。 #### 2.5.2 Music 接口 ```java package com.badlogic.androidgames.framework; public interface Music { public void play(); public void stop(); public void pause(); public void setLooping(boolean looping); publi ```