首頁 / 名詞卡 / AI與模型基礎 / RNN(Recurrent Neural Networks,循環神經網路)

iPAS AI初級🧠 AI與模型基礎
🔑 名詞卡

RNN(Recurrent Neural Networks,循環神經網路)

🎯 定義

專為處理序列數據而設計的深度學習模型,其關鍵特性是網路中存在循環連接,使得模型可以記憶序列中之前的資訊。

工作原理

RNN 的每個節點不僅接收當前的輸入,還會記住前一時刻的狀態,這使得 RNN 能夠捕捉數據的時間依賴關係。網路的輸出取決於當前輸入和前面的上下文,適合處理語音、文本等具有時間序列特性的數據。

優缺點

優點缺點
能有效捕捉序列數據中的長期依賴關係;支持變長序列處理訓練過程容易出現梯度消失或梯度爆炸問題;處理長序列數據時計算效率較低

改進版本

版本說明
LSTM(Long Short-Term Memory)引入遺忘門、輸入門、輸出門,有效解決梯度消失問題
GRU(Gated Recurrent Unit)結構比 LSTM 更簡單,但在大多數應用中效果相近

應用場景

自然語言處理(機器翻譯、文本生成)、語音辨識(語音助理語音轉文字)、時間序列分析(股票價格預測)。

易混淆

  • vs CNN:RNN 適合時間序列/序列數據,CNN 適合空間結構的圖像數據。
  • vs Transformer:在 NLP 中,RNN 屬於「傳統序列模型」,須逐步(token by token)處理,訓練慢且難平行化;Transformer 以 Self-Attention 一次性平行處理整句,已取代 RNN 成為主流。
📖 課文原文

「RNN 是專為處理序列數據而設計的深度學習模型,其關鍵特性是網路中存在循環連接,使得模型可以記憶序列中之前的資訊。」