Kaldi语音识别实战：从零搭建中文语音识别系统（AIShell语料库）

Oil88

660人浏览 · 2026-02-21 02:50:31

Oil88 · 2026-02-21 02:50:31 发布

Kaldi语音识别实战：从零搭建中文语音识别系统（AIShell语料库）

语音识别技术正在深刻改变人机交互的方式。作为开源语音识别工具集的标杆，Kaldi凭借其模块化设计和工业级稳定性，已成为学术界和工业界首选的语音识别框架。本文将带您从零开始，基于AIShell中文语料库，构建完整的语音识别系统。

1. 环境准备与Kaldi安装

构建语音识别系统的第一步是搭建合适的开发环境。Kaldi对Linux系统有较好的支持，推荐使用Ubuntu 20.04 LTS或更高版本作为开发平台。以下是在纯净系统上配置Kaldi的完整流程：

# 安装基础依赖
sudo apt-get update
sudo apt-get install -y git wget automake autoconf subversion libtool g++ zlib1g-dev make python3

Kaldi的安装分为两个主要部分：工具链编译和核心代码编译。工具链包括OpenFST、IRSTLM等必需组件：

git clone https://github.com/kaldi-asr/kaldi.git
cd kaldi/tools
make -j$(nproc)
extras/install_irstlm.sh

注意：编译过程中若出现权限问题，可尝试使用chown -R $USER:$USER kaldi命令变更目录所有权。

核心代码编译需要配置系统环境：

cd ../src
./configure --shared
make depend -j$(nproc)
make -j$(nproc)

常见问题解决方案：

问题类型	解决方案	预防措施
OpenFST解压失败	删除残留压缩包后重试	确保磁盘空间充足
权限不足	使用chown变更目录权限	避免在root目录下操作
编译中断	执行make clean后重试	保持网络稳定

2. AIShell语料库处理

AIShell是高质量的中文普通话语音数据集，包含178小时录音和10万条语音样本。处理流程如下：

数据下载与解压：

cd kaldi/egs/aishell/s5
local/download_and_untar.sh data_aishell data_aishell.tgz
local/download_and_untar.sh resource_aishell resource_aishell.tgz

local/aishell_data_prep.sh data_aishell/wav data_aishell/transcript

生成的关键文件说明：

wav.scp：音频文件路径索引
text：语音文本标注
utt2spk：话语到说话人映射
spk2utt：说话人到话语的反向映射

数据集划分：

utils/subset_data_dir.sh --first data/train 10000 data/train_10k
utils/subset_data_dir.sh --shortest data/train 10000 data/train_10kshort

中文特有的处理技巧：

文本归一化：将全角字符转换为半角
分词处理：使用基于词典的中文分词
声调处理：保留拼音声调信息

3. 特征提取与声学模型训练

MFCC特征是语音识别的黄金标准，Kaldi提供了高效的特征提取工具：

steps/make_mfcc.sh --nj 20 --cmd "run.pl" data/train exp/make_mfcc/train mfcc
steps/compute_cmvn_stats.sh data/train exp/make_mfcc/train mfcc

特征提取后的数据可视化检查：

copy-feats ark:mfcc/raw_mfcc_train.1.ark ark,t:- | head -n 2

单音素GMM-HMM训练流程：

初始化单音素模型

steps/train_mono.sh --nj 10 --cmd "run.pl" data/train data/lang exp/mono

三音素模型训练（带LDA+MLLT）

steps/align_si.sh --nj 10 --cmd "run.pl" data/train data/lang exp/mono exp/mono_ali
steps/train_deltas.sh --cmd "run.pl" 2000 10000 data/train data/lang exp/mono_ali exp/tri1

说话人自适应训练（SAT）

steps/align_si.sh --nj 10 --cmd "run.pl" data/train data/lang exp/tri1 exp/tri1_ali
steps/train_sat.sh --cmd "run.pl" 2500 15000 data/train data/lang exp/tri1_ali exp/tri2

模型训练的关键参数调整：

参数	作用	推荐值
--num-jobs	并行任务数	CPU核心数的70%
--totgauss	高斯分量总数	每状态100-200
--max-iter	最大迭代次数	20-40
--beam	对齐搜索宽度	6-10
--retry-beam	重试搜索宽度	10-15

4. 语言模型与解码图构建

中文语言模型构建需要特殊处理：

词典准备：

local/aishell_prepare_dict.sh data/local/dict

语言模型训练：

local/aishell_train_lms.sh data/local/train/text data/local/dict/lexicon.txt data/local/lm

解码图生成：

utils/prepare_lang.sh data/local/dict "<UNK>" data/local/lang data/lang
local/aishell_format_data.sh data/lang data/local/lm data/lang_test
utils/mkgraph.sh data/lang_test exp/tri2 exp/tri2/graph

中文特有的语言模型技巧：

使用更大的n-gram阶数（通常5-gram）
加入字符级语言模型作为补充
针对领域术语进行特定优化

5. 解码与结果评估

解码是验证模型性能的关键步骤：

steps/decode.sh --nj 10 --cmd "run.pl" --config conf/decode.config \
    exp/tri2/graph data/test exp/tri2/decode_test

结果评估指标解读：

WER（词错误率）：插入、删除、替换错误的总和
CER（字错误率）：针对中文的字符级评估
RTF（实时因子）：解码速度指标

使用以下命令查看详细结果：

cat exp/tri2/decode_test/wer_* | grep WER | sort -k2,2 -n | head

性能优化技巧：

声学模型优化：

增加训练数据量
使用更深的神经网络结构
引入说话人自适应技术

语言模型优化：

使用更大的文本语料
尝试神经网络语言模型
加入领域自适应技术

解码效率优化：

调整解码束宽度
使用GPU加速
优化特征提取流水线

6. 进阶：TDNN模型训练

时延神经网络（TDNN）能显著提升识别准确率：

数据准备：

steps/align_fmllr.sh --nj 10 --cmd "run.pl" data/train data/lang exp/tri2 exp/tri2_ali

TDNN配置（conf/tdnn.conf）：

input-dim=40
output-dim=3386
hidden-dim=1024
num-targets=3386

模型训练：

steps/nnet3/train_tdnn.sh --cmd "run.pl" --nj 10 \
    --trainer.num-epochs 10 \
    --trainer.optimization.num-jobs-initial 3 \
    --trainer.optimization.num-jobs-final 8 \
    data/train data/lang exp/tri2_ali exp/tdnn

TDNN训练的关键参数：

参数	说明	典型值
--num-epochs	训练轮数	5-15
--frames-per-iter	每次迭代帧数	1-2M
--learning-rate	初始学习率	0.001-0.01
--final-learning-rate	最终学习率	0.0001-0.001
--num-jobs	并行任务数	CPU核心数

7. 系统部署与优化

生产环境部署需要考虑以下因素：

实时解码优化：

online2-wav-nnet3-latgen-faster --config=conf/online.conf \
    --frames-per-chunk=20 --extra-left-context-initial=0 \
    --frame-subsampling-factor=3 --min-active=200 --max-active=7000 \
    --beam=15.0 --lattice-beam=6.0 --acoustic-scale=1.0 \
    --word-symbol-table=graph/words.txt \
    final.mdl graph/HCLG.fst ark:feats.ark "ark:|gzip -c > lat.gz"