espnet實踐簡介

Espnet介紹

ESPNet中使用了ATT+CTC的架構，其可分為兩大部分：

1、Shared encoder（共享編碼器）：

包括了VGG卷積網絡和BLSTM（雙向長短時記憶網絡）層，來完成語音到向量的轉化。

2、Joint Decoder（聯合解碼器）：

聯合解碼器實現向量到最終文本結果的輸出；

聯合解碼器包括CTC（負責標簽和序列的自動對齊）、Attention（為不同序列賦予不同權重）和RNN-LM（語言模型，生成最優字詞句）；

其中CTC和Attention二者共同使用一個Loss來使模型收斂，最終的損失函數LossMTL為CTC損失函數和Attention損失函數的加權求和；

聯合解碼中，使用one-pass beam search（剪枝搜索）方法來消除不規則的序列與標簽的對齊。

Espnet的安裝

一、準備工作

用git的方法把Espnet和Kaldi的項目保存到本地。

安裝CUDA和對應版本的CUDADNN。

安裝Pytorch，要和CUDA版本對應。

二、安裝過程

設置CUDA的環境變量路徑（~/.bashrc），安裝指導里有代碼，只要修改第一行代碼為CUDA實際安裝

路徑就好了，設置完之后要執行source ~/.bashrc讓它生效。

安裝Kaldi。

把Kaldi工具導入到Espnet項目中去。

進入Espnet中的tools文件夾，執行命令：

make KALDI=/path_to_kaldi

同樣可以執行make check_install檢查安裝。

安裝完成后，把項目放到Espnet里的egs目錄下就可以用了。

Espnet訓練和測試步驟

機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。