人工智能基于Pytorch实现声音的分类

背景

本项目是基于Pytorch的声音分类项目，旨在实现对各种环境声音、动物叫声和语种的识别。项目提供了多种声音分类模型，如EcapaTdnn、PANNS、ResNetSE、CAMPPlus和ERes2Net，以支持不同的应用场景。此外，项目还提供了常用的Urbansound8K数据集测试报告和一些方言数据集的下载和使用例子。用户可以根据自己的需求选择适合的模型和数据集，以实现更准确的声音分类。项目的应用场景广泛，可以用于室外的环境监测、野生动物保护、语音识别等领域。同时，项目也鼓励用户探索更多的使用场景，以推动声音分类技术的发展和应用。

源码地址：AudioClassification-Pytorch

使用准备

Anaconda 3Python 3.8Pytorch 1.13.1Windows 10 or Ubuntu 18.04

项目特性

支持模型：EcapaTdnn、PANNS、TDNN、Res2Net、ResNetSE、CAMPPlus、ERes2Net支持池化层：AttentiveStatsPool(ASP)、SelfAttentivePooling(SAP)、TemporalStatisticsPooling(TSP)、TemporalAveragePooling(TAP)支持预处理方法：MelSpectrogram、Spectrogram、MFCC、Fbank

模型论文：

EcapaTdnn：ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker VerificationPANNS：PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern RecognitionTDNN：Prediction of speech intelligibility with DNN-based performance measuresRes2Net：Res2Net: A New Multi-scale Backbone ArchitectureResNetSE：Squeeze-and-Excitation NetworksCAMPPlus：CAM++: A Fast and Efficient Network for Speaker Verification Using Context-Aware Masking

模型测试表

安装环境

首先安装的是Pytorch的GPU版本，如果已经安装过了，请跳过。

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

安装macls库。使用pip安装，命令如下：

python -m pip install macls -U -i https://pypi.tuna.tsinghua.edu.cn/simple

建议源码安装，源码安装能保证使用最新代码。

git clone https://github.com/yeyupiaoling/AudioClassification-Pytorch.git

cd AudioClassification-Pytorch/

python setup.py install

准备数据

生成数据列表，用于下一步的读取需要，audio_path为音频文件路径，用户需要提前把音频数据集存放在dataset/audio目录下，每个文件夹存放一个类别的音频数据，每条音频数据长度在3秒以上，如 dataset/audio/鸟叫声/······。audio是数据列表存放的位置，生成的数据类别的格式为音频路径\t音频对应的类别标签，音频路径和标签用制表符 \t分开。读者也可以根据自己存放数据的方式修改以下函数。

以Urbansound8K为例，Urbansound8K是目前应用较为广泛的用于自动城市环境声分类研究的公共数据集，包含10个分类：空调声、汽车鸣笛声、儿童玩耍声、狗叫声、钻孔声、引擎空转声、枪声、手提钻、警笛声和街道音乐声。数据集下载地址：UrbanSound8K.tar.gz。以下是针对Urbansound8K生成数据列表的函数。如果读者想使用该数据集，请下载并解压到 dataset目录下，把生成数据列表代码改为以下代码。

执行create_data.py即可生成数据列表，里面提供了生成多种数据集列表方式，具体看代码。

python create_data.py

生成的列表是长这样的，前面是音频的路径，后面是该音频对应的标签，从0开始，路径和标签之间用\t隔开。

dataset/UrbanSound8K/audio/fold2/104817-4-0-2.wav 4

dataset/UrbanSound8K/audio/fold9/105029-7-2-5.wav 7

dataset/UrbanSound8K/audio/fold3/107228-5-0-0.wav 5

dataset/UrbanSound8K/audio/fold4/109711-3-2-4.wav 3

修改预处理方法

配置文件中默认使用的是MelSpectrogram预处理方法，如果要使用其他预处理方法，可以修改配置文件中的安装下面方式修改，具体的值可以根据自己情况修改。如果不清楚如何设置参数，可以直接删除该部分，直接使用默认值。

preprocess_conf:

# 音频预处理方法，支持：MelSpectrogram、Spectrogram、MFCC、Fbank

feature_method: 'MelSpectrogram'

# 设置API参数，更参数查看对应API，不清楚的可以直接删除该部分，直接使用默认值

method_args:

sample_rate: 16000

n_fft: 1024

hop_length: 320

win_length: 1024

f_min: 50.0

f_max: 14000.0

n_mels: 64

训练

接着就可以开始训练模型了，创建 train.py。配置文件里面的参数一般不需要修改，但是这几个是需要根据自己实际的数据集进行调整的，首先最重要的就是分类大小dataset_conf.num_class，这个每个数据集的分类大小可能不一样，根据自己的实际情况设定。然后是dataset_conf.batch_size，如果是显存不够的话，可以减小这个参数。

# 单卡训练

CUDA_VISIBLE_DEVICES=0 python train.py

# 多卡训练

CUDA_VISIBLE_DEVICES=0,1 torchrun --standalone --nnodes=1 --nproc_per_node=2 train.py

训练输出日志：

[2023-08-07 22:54:22.148973 INFO ] utils:print_arguments:14 - ----------- 额外配置参数 -----------

[2023-08-07 22:54:22.148973 INFO ] utils:print_arguments:16 - configs: configs/ecapa_tdnn.yml

[2023-08-07 22:54:22.148973 INFO ] utils:print_arguments:16 - local_rank: 0

[2023-08-07 22:54:22.148973 INFO ] utils:print_arguments:16 - pretrained_model: None

[2023-08-07 22:54:22.148973 INFO ] utils:print_arguments:16 - resume_model: None

[2023-08-07 22:54:22.148973 INFO ] utils:print_arguments:16 - save_model_path: models/

[2023-08-07 22:54:22.148973 INFO ] utils:print_arguments:16 - use_gpu: True

[2023-08-07 22:54:22.148973 INFO ] utils:print_arguments:17 - ------------------------------------------------

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:19 - ----------- 配置文件参数 -----------

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:22 - dataset_conf:

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:25 - aug_conf:

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - noise_aug_prob: 0.2

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - noise_dir: dataset/noise

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - speed_perturb: True

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - volume_aug_prob: 0.2

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - volume_perturb: False

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:25 - dataLoader:

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - batch_size: 64

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - num_workers: 4

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:29 - do_vad: False

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:25 - eval_conf:

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - batch_size: 1

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - max_duration: 20

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:29 - label_list_path: dataset/label_list.txt

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:29 - max_duration: 3

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:29 - min_duration: 0.5

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:29 - sample_rate: 16000

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:25 - spec_aug_args:

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - freq_mask_width: [0, 8]

[2023-08-07 22:54:22.202166 INFO ] utils:print_arguments:27 - time_mask_width: [0, 10]

[2023-08-07 22:54:22.203167 INFO ] utils:print_arguments:29 - target_dB: -20

[2023-08-07 22:54:22.203167 INFO ] utils:print_arguments:29 - test_list: dataset/test_list.txt

[2023-08-07 22:54:22.203167 INFO ] utils:print_arguments:29 - train_list: dataset/train_list.txt

[2023-08-07 22:54:22.203167 INFO ] utils:print_arguments:29 - use_dB_normalization: True

[2023-08-07 22:54:22.203167 INFO ] utils:print_arguments:29 - use_spec_aug: True

[2023-08-07 22:54:22.203167 INFO ] utils:print_arguments:22 - model_conf:

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:29 - num_class: 10

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:29 - pooling_type: ASP

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:22 - optimizer_conf:

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:29 - learning_rate: 0.001

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:29 - optimizer: Adam

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:29 - scheduler: WarmupCosineSchedulerLR

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:25 - scheduler_args:

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:27 - max_lr: 0.001

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:27 - min_lr: 1e-05

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:27 - warmup_epoch: 5

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:29 - weight_decay: 1e-06

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:22 - preprocess_conf:

[2023-08-07 22:54:22.207167 INFO ] utils:print_arguments:29 - feature_method: Fbank

[2023-08-07 22:54:22.208167 INFO ] utils:print_arguments:25 - method_args:

[2023-08-07 22:54:22.208167 INFO ] utils:print_arguments:27 - num_mel_bins: 80

[2023-08-07 22:54:22.208167 INFO ] utils:print_arguments:27 - sample_frequency: 16000

[2023-08-07 22:54:22.208167 INFO ] utils:print_arguments:22 - train_conf:

[2023-08-07 22:54:22.208167 INFO ] utils:print_arguments:29 - log_interval: 10

[2023-08-07 22:54:22.208167 INFO ] utils:print_arguments:29 - max_epoch: 30

[2023-08-07 22:54:22.208167 INFO ] utils:print_arguments:31 - use_model: EcapaTdnn

[2023-08-07 22:54:22.208167 INFO ] utils:print_arguments:32 - ------------------------------------------------

[2023-08-07 22:54:22.213166 WARNING] trainer:__init__:67 - Windows系统不支持多线程读取数据，已自动关闭！

==========================================================================================

Layer (type:depth-idx) Output Shape Param #

==========================================================================================

EcapaTdnn [1, 10] --

├─Conv1dReluBn: 1-1 [1, 512, 98] --

│ └─Conv1d: 2-1 [1, 512, 98] 204,800

│ └─BatchNorm1d: 2-2 [1, 512, 98] 1,024

├─Sequential: 1-2 [1, 512, 98] --

│ └─Conv1dReluBn: 2-3 [1, 512, 98] --

│ │ └─Conv1d: 3-1 [1, 512, 98] 262,144

│ │ └─BatchNorm1d: 3-2 [1, 512, 98] 1,024

│ └─Res2Conv1dReluBn: 2-4 [1, 512, 98] --

│ │ └─ModuleList: 3-15 -- (recursive)