首頁 / 名詞卡 / 深度學習/NLP/CV架構 / VITS(Variational Inference Text-to-Speech)

iPAS AI中級🧬 深度學習/NLP/CV架構
🔑 名詞卡

VITS(Variational Inference Text-to-Speech)

🎯 定義

結合變分自編碼器(VAE)與生成對抗網路(GAN)的語音合成模型,透過端到端訓練直接從文字生成語音波形,在語音自然度與細節表現(如音色變化)上表現優異。

重點

特徵:音質細膩、訓練效率高,適應多語者情境;應用如虛擬偶像語音生成。

記憶技巧

VITS=VAE+GAN 的合體,一次到位「文字進、語音波形出」。

易混淆

  • vs Tacotron 2/FastSpeech 2:後兩者為 Seq2Seq 架構(先生成頻譜再轉波形),VITS 是端到端直接生成波形。
  • vs Whisper:Whisper 是語音辨識(Speech-to-Text),VITS 是語音合成(Text-to-Speech),方向相反。
📖 課文原文

「VITS(Variational Inference Text-to-Speech):結合變分自編碼器(VAE)與生成對抗網路(GAN),通過端到端訓練直接從文字生成語音波形。VITS 在語音自然度與細節表現(如音色變化)上表現優異。」