前言

来自美国和中国的研究人员发表了一篇题为ESPRESSO: A fast end-to-end neural speech recognition toolkit的文章。在论文中，研究人员介绍了一个开源的、模块化的、端到端的神经自动语音识别(ASR)工具包ESPRESSO。该工具包基于PyTorch库和FAIRSEQ，即神经机器翻译工具包。
该工具包支持跨GPU和计算节点的分布式培训，以及ASR中常用的解码方法，如基于单词的前瞻语言模型融合。
ESPRESSO的解码速度比ESPNET等类似系统快4到11倍，在LibriSpeech、WSJ和Switchboard等数据集上实现了最好的ASR性能。

---

一、ESPnet的局限性

ESPnet是一个端到端的语音处理工具包，它有一些局限性:

- ESPnet代码不容易扩展，并且由于它对深度学习框架PyTorch和Chainer的混合依赖，还存在与可移植性相关的问题。

- 它使用了一种基于slow beam search算法的解码器，这种算法速度不够快，无法快速完成实验。

为了解决上述问题，研究人员引入了ESPRESSO。有了ESPRESSO，通过扩展标准的PyTorch接口，可以将新模块引入系统。

研究论文写道:“我们设想ESPRESSO可以成为统一语音+文本处理系统的基础，并为未来的端到端语音翻译(ST)和文本到语音合成(TTS)系统铺平道路，最终促进ASR和NLP研究社区之间的更大协同作用。”

二、ESPRESSO建立在设计目的上

ESPRESSO的语音数据遵循Kaldi的格式，Kaldi是一个语音识别工具包，其中的话语以Kaldi定义的SCP格式存储。研究人员参考ESPNET，并使用了80维对数梅尔特征以及额外的间距特征(每帧83维)。 ESPRESSO还遵循FAIRSEQ的“数据集”概念，其中包含一组训练样本和摘要。基于同样的概念，研究人员在ESPRESSO中创建了数据集类:

1.data.ScpCachedDataset

该数据集包含从语音话语中提取的实值声学特征。从该数据集提取的训练批次是形状的实值张量[BatchSize×time frame length×FeatureDims]，它将被馈送到神经语音编码器。由于声学特征很大，并且不能一次加载到内存中，研究人员还实现了分片加载，其中一旦先前的大部分被消耗用于训练/解码，就预先加载大部分特征。这也平衡了文件系统的输入/输出负载以及内存使用。

2.data.TokenTextDataset

该数据集以文本形式包含语音转录，其中训练批次是整数值形状张量[BatchSize × SequenceLength]。

2.data.SpeechDataset

data.SpeechDataset是上述数据集的容器。从该数据集中抽取的样本包含两个字段，分别包括指向源和目标语音和语音转录。

---

三、在LibriSpeech、WSJ和Switchboard数据集上实现最先进的ASR性能

ESPRESSO为各种数据集提供运行脚本。研究人员在《华尔街日报》(WSJ),一个80小时的英文报纸演讲语料库、《Switchboard(SWBD)》,一个300小时的英文电话演讲语料库和一个包含大约1000小时英语演讲的LibriSpeecha语料库上给出了运行脚本。

ESPRESSO的数据集有自己的额外文本语料库，用于训练语言模型。这些模型使用Adam进行优化，Adam是一种用于随机优化的方法，初始学习率为10-3。如果一个时期结束时验证集的指标没有显示出比前一个时期有所改善，则该比率减半。在这种情况下，学习率低于10-5，训练过程也停止。

学习用于LibriSpeech或WSJ/SWBD epoch，因为它可以防止训练差异，提高性能。NVIDIA GeForce GTX 1080 Ti GPU用于训练/评估模型。本文采用FAIRSEQ内置分布式数据并行机制，用2个GPU对所有模型进行训练。

总之，研究人员在本文中介绍了ESPRESSO工具包，并为LibriSpeech,WSJ和Switchboard数据集提供了ASR脚本。该论文写道，“通过与FAIRSEQ共享底层基础架构，我们希望ESPRESSO将促进未来在语音和自然语言处理方面的联合研究，特别是在语音翻译和语音合成等序列转换任务方面。”

要详细了解ESPRESSO，请查看这篇文章。