一、簡(jiǎn)介

torchaudio 是 PyTorch 的一個(gè)擴(kuò)展庫(kù)，主要用于處理音頻數(shù)據(jù)。它提供了豐富的工具來(lái)簡(jiǎn)化音頻數(shù)據(jù)的加載、預(yù)處理和轉(zhuǎn)換等操作。torchaudio 的設(shè)計(jì)充分利用了 PyTorch 的 GPU 加速能力，能夠高效地處理大規(guī)模音頻數(shù)據(jù)集。本教程教你如何加載、處理和分析音頻數(shù)據(jù)。

二、加載音頻文件

torchaudio 支持加載多種格式的音頻文件，如 WAV 和 MP3。加載音頻文件后，得到的是波形數(shù)據(jù)和采樣率。

import torch
import torchaudio
import matplotlib.pyplot as plt


filename = "example.wav"  # 音頻文件路徑
waveform, sample_rate = torchaudio.load(filename)


print("波形形狀:", waveform.size())
print("采樣率:", sample_rate)


plt.figure()
plt.plot(waveform.t().numpy())
plt.title("音頻波形")
plt.show()

三、音頻數(shù)據(jù)的可視化

torchaudio 提供了將波形轉(zhuǎn)換為頻譜圖等功能，方便我們對(duì)音頻數(shù)據(jù)進(jìn)行可視化分析。

## 計(jì)算頻譜圖
specgram = torchaudio.transforms.Spectrogram()(waveform)


print("頻譜圖形狀:", specgram.size())


plt.figure()
plt.imshow(specgram.log2()[0,:,:].numpy(), cmap='gray')
plt.title("頻譜圖")
plt.show()

四、音頻數(shù)據(jù)的轉(zhuǎn)換

torchaudio 提供了多種轉(zhuǎn)換操作，用于對(duì)音頻數(shù)據(jù)進(jìn)行預(yù)處理和特征提取。

1. 重采樣

將音頻信號(hào)重采樣為不同的采樣率。

new_sample_rate = sample_rate // 10
resampler = torchaudio.transforms.Resample(sample_rate, new_sample_rate)
resampled_waveform = resampler(waveform)


print("重采樣后波形形狀:", resampled_waveform.size())


plt.figure()
plt.plot(resampled_waveform[0,:].numpy())
plt.title("重采樣后的音頻波形")
plt.show()

2. 計(jì)算 Mel 頻譜圖

Mel 頻譜圖是一種常用的音頻特征表示方法，能夠更好地捕捉人類(lèi)聽(tīng)覺(jué)感知的特性。

mel_specgram = torchaudio.transforms.MelSpectrogram()(waveform)


print("Mel 頻譜圖形狀:", mel_specgram.size())


plt.figure()
p = plt.imshow(mel_specgram.log2()[0,:,:].detach().numpy(), cmap='gray')
plt.title("Mel 頻譜圖")
plt.show()

3. Mu-Law 編碼和解碼

Mu-Law 編碼是一種用于壓縮音頻數(shù)據(jù)的非線(xiàn)性方法，可以減少數(shù)據(jù)量并提高處理效率。

## Mu-Law 編碼
mu_law_waveform = torchaudio.transforms.MuLawEncoding()(waveform)


print("Mu-Law 編碼后波形形狀:", mu_law_waveform.size())


plt.figure()
plt.plot(mu_law_waveform[0,:].numpy())
plt.title("Mu-Law 編碼后的音頻波形")
plt.show()


## Mu-Law 解碼
decoded_waveform = torchaudio.transforms.MuLawDecoding()(mu_law_waveform)


print("Mu-Law 解碼后波形形狀:", decoded_waveform.size())


plt.figure()
plt.plot(decoded_waveform[0,:].numpy())
plt.title("Mu-Law 解碼后的音頻波形")
plt.show()

五、音頻數(shù)據(jù)的功能性操作

torchaudio 還提供了一些低級(jí)的功能函數(shù)，用于對(duì)音頻數(shù)據(jù)進(jìn)行更細(xì)粒度的操作。

## 計(jì)算頻譜圖的增量
deltas = torchaudio.functional.compute_deltas(specgram, win_length=3)


print("增量形狀:", deltas.shape)


plt.figure()
plt.imshow(deltas.log2()[0,:,:].detach().numpy(), cmap='gray')
plt.title("頻譜圖增量")
plt.show()

六、與 Kaldi 的兼容性

torchaudio 提供了與 Kaldi 兼容的接口，方便用戶(hù)從 Kaldi 遷移到 torchaudio。

## 使用 Kaldi 兼容的頻譜圖計(jì)算
params = {
    "channel": 0,
    "dither": 0.0,
    "window_type": "hanning",
    "frame_length": 25.0,
    "frame_shift": 10.0,
    "remove_dc_offset": False,
    "round_to_power_of_two": False,
    "sample_frequency": sample_rate,
}


kaldi_specgram = torchaudio.compliance.kaldi.spectrogram(waveform, **params)


print("Kaldi 頻譜圖形狀:", kaldi_specgram.size())


plt.figure()
plt.imshow(kaldi_specgram.t().numpy(), cmap='gray')
plt.title("Kaldi 頻譜圖")
plt.show()

七、可用數(shù)據(jù)集

torchaudio 提供了多個(gè)內(nèi)置的音頻數(shù)據(jù)集，方便用戶(hù)快速上手和實(shí)驗(yàn)。

## 加載 YESNO 數(shù)據(jù)集
yesno_dataset = torchaudio.datasets.YESNO("./", download=True)


## 獲取一個(gè)數(shù)據(jù)點(diǎn)
waveform, sample_rate, labels = yesno_dataset[3]


print("波形:", waveform)
print("采樣率:", sample_rate)
print("標(biāo)簽:", labels)


plt.figure()
plt.plot(waveform.t().numpy())
plt.title("YESNO 數(shù)據(jù)集中的音頻波形")
plt.show()

八、總結(jié)

通過(guò)本教程，你學(xué)習(xí)了如何使用 torchaudio 進(jìn)行音頻數(shù)據(jù)的加載、預(yù)處理、轉(zhuǎn)換和可視化。torchaudio 提供了豐富的功能和接口，能夠滿(mǎn)足大多數(shù)音頻處理任務(wù)的需求。