🔑 名詞卡
偏差-變異權衡(Bias-Variance Tradeoff)
🎯 定義
模型選擇的核心原則之一:偏差(Bias,模型擬合能力不足導致的系統性誤差,即欠擬合)與變異(Variance,模型對訓練資料細微差異過於敏感導致的泛化能力差,即過擬合)之間存在固有的取捨關係。
重點/應用
| 模型複雜度 | 偏差 | 變異 | 特性 |
|---|---|---|---|
| 低(如線性迴歸) | 高 | 低 | 穩定、具解釋性,但無法處理複雜關係 |
| 高(如深度神經網路) | 低 | 高 | 可擬合複雜模式,但需更多資料或正則化控制變異 |
記憶技巧
「簡單模型偏差高(學不會),複雜模型變異高(學太細)」——模型複雜度像蹺蹺板,選模型就是找蹺蹺板的平衡點。
易混淆
- vs 過擬合/欠擬合:過擬合對應「高變異」,欠擬合對應「高偏差」,偏差-變異權衡是解釋這兩個現象背後成因的理論框架。
📖 課文原文「模型選擇的核心原則之一是權衡偏差(bias)與變異(variance),兩者之間存在固有的取捨關係⋯模型複雜度的提升通常伴隨偏差的降低與變異的提高。」