在新选项卡中打开链接
  1. Copilot 答案

    ASR Conformer模型论文及代码分析 - 知乎 - 知乎专栏

    • Conformer是Google在2020年提出的语音识别模型,基于Transformer改进而来,主要的改进点在于Transformer在提取长序列依赖的时候更有效,而卷积则擅长提取局部特征,因此将卷积应用于Transformer的Enco… 展开

    1. Conformer模型

    1.1 Multi-Headed Self-Attention Module
    首先应用了一个来自于Transformer-XL的multi-headed self-attention (MHSA),具体来说是一个相对正弦位置编码(relative sinusoidal positi… 展开

    知乎专栏
    2. 实验

    2.1 数据
    本文在有970小时标注数据的LibriSpeech上评估模型,同时用了额外的800M文本数据训练语言模型。声学特征部分采用了80维的Fbank,窗长是2… 展开

    知乎专栏
    3. 结论

    本文中,作者将CNN和Transformer结合而成Conformer,并通过实验对比了各个改进的效果,最终模型在LibriSpeech test/testother测试集上获得了1.9%和3.9%的WER,是当时 … 展开

    知乎专栏