🔑 名詞卡
RNN(Recurrent Neural Networks,循環神經網路)
🎯 定義
專為處理序列數據而設計的深度學習模型,其關鍵特性是網路中存在循環連接,使得模型可以記憶序列中之前的資訊。
工作原理
RNN 的每個節點不僅接收當前的輸入,還會記住前一時刻的狀態,這使得 RNN 能夠捕捉數據的時間依賴關係。網路的輸出取決於當前輸入和前面的上下文,適合處理語音、文本等具有時間序列特性的數據。
優缺點
| 優點 | 缺點 |
|---|---|
| 能有效捕捉序列數據中的長期依賴關係;支持變長序列處理 | 訓練過程容易出現梯度消失或梯度爆炸問題;處理長序列數據時計算效率較低 |
改進版本
應用場景
自然語言處理(機器翻譯、文本生成)、語音辨識(語音助理語音轉文字)、時間序列分析(股票價格預測)。
易混淆
- vs CNN:RNN 適合時間序列/序列數據,CNN 適合空間結構的圖像數據。
- vs Transformer:在 NLP 中,RNN 屬於「傳統序列模型」,須逐步(token by token)處理,訓練慢且難平行化;Transformer 以 Self-Attention 一次性平行處理整句,已取代 RNN 成為主流。
📖 課文原文「RNN 是專為處理序列數據而設計的深度學習模型,其關鍵特性是網路中存在循環連接,使得模型可以記憶序列中之前的資訊。」