🔑 名詞卡
激活函數（Activation Function）
🎯 定義
神經網路中將神經元加權輸入轉換為輸出的非線性函數，是賦予神經網路處理非線性問題能力的核心組件。
重點／應用
| 函數 | 公式 | 適用位置 |
|---|---|---|
| Sigmoid | \(\frac{1}{1+e^{-x}}\) | 二元分類輸出層，(0,1) |
| Tanh | \(\frac{e^x-e^{-x}}{e^x+e^{-x}}\) | 隱藏層，(-1,1) |
| ReLU | \(\max(0,x)\) | 深度網路隱藏層，計算快、緩解梯度消失 |
| Softmax | \(\frac{e^{z_i}}{\sum_j e^{z_j}}\) | 多類別單選輸出層 |
記憶技巧
若沒有激活函數，無論神經網路多少層，最終輸出都只是輸入的線性組合，等同單層線性模型——這是選擇題最愛考的核心觀念。
易混淆
- vs 損失函數：激活函數決定「神經元輸出什麼」；損失函數衡量「模型輸出與答案差多少」，作用階段與目的完全不同。
📖 課文原文「激活函數最根本、最重要的作用。若沒有激活函數，或只使用線性激活函數，那麼無論神經網路有多少層，其最終輸出都只是輸入的線性組合。」