🔑 名詞卡
Lasso(Least Absolute Shrinkage and Selection Operator)
🎯 定義
在線性迴歸損失函數中加入 L1 正則化項(權重絕對值總和)的迴歸方法:\(\text{Loss}=\sum(y_i-\hat{y}_i)^2+\lambda\sum|\beta_j|\),能將部分係數縮為零,達到自動特徵選擇效果。
重點/應用
- 名稱意涵:Least Absolute(用絕對值限制)+ Shrinkage(讓權重變小)+ Selection Operator(自動做特徵選擇)。
- 適用:高維資料、需要特徵選擇、防止過擬合。
- 限制:高相關變數間可能只保留其中一個;λ 過大易導致欠擬合。
記憶技巧
「L1 用絕對值,能把不重要的參數縮到 0」。
易混淆
- vs Ridge:Lasso(L1)會把權重壓到 0(特徵選擇);Ridge(L2)只會縮小權重、不會變 0。
📖 課文原文「Lasso 迴歸(Lasso Regression):在損失函數中加入 L1 正則化項(權重絕對值和),不僅限制係數大小,還能將部分係數直接縮減為零,達到特徵選擇(Feature Selection)的效果。」