CH3.2 線性代數之機器學習基礎應用
線性代數之機器學習基礎應用
向量與矩陣是資料與模型參數的表示單位 → 線性變換對資料進行縮放/旋轉/投影，是特徵工程與降維的數學本質 → 矩陣分解（特徵值分解、SVD、NMF）將高維資料拆解為具代表性的子結構以達成降維 → 最小平方估計（OLS）以幾何投影觀點求解線性迴歸的最佳參數。
1. 線性代數為何是機器學習的運算基礎
線性代數（Linear Algebra）的核心概念貫穿資料結構表示、模型參數計算、梯度更新與特徵轉換等環節。現代機器學習與深度學習系統中，絕大多數演算法都以矩陣與向量為運算單位，並透過線性變換、特徵分解與最小平方估計等工具實現模型訓練與預測。
2. 向量與矩陣：資料與模型的基本單位
(1) 向量在機器學習中的角色
向量是具方向與大小的數學物件，通常描述單一樣本的特徵組合。例如一筆 5 維樣本可表示為 \(x=[x_1,x_2,x_3,x_4,x_5]^\top\)，模型參數向量 \(\theta=[\theta_1,\dots,\theta_d]\) 可用於計算預測值：
| 常見向量運算 | 說明 |
|---|---|
| 點積（Dot Product） | 評估兩向量在同方向的對應程度，物理意義是「投影」與「相似度」，為線性模型預測的核心運算 |
| L2 範數（Norm） | 又稱歐幾里得範數，計算向量的「長度」，是正規化與 L2 正則化的基礎 |
| 向量加減與線性組合 | 用於計算誤差向量、梯度向量等 |
(2) 矩陣在機器學習中的應用
矩陣是多個向量的集合，常用於表示多筆樣本資料、特徵轉換或神經網路權重。特徵矩陣 \(X \in \mathbb{R}^{n \times d}\)（n 筆樣本、d 個特徵）；權重矩陣 \(W \in \mathbb{R}^{d \times k}\)（將 d 維特徵映射為 k 維輸出）。
| 常見矩陣運算 | 應用 |
|---|---|
| 矩陣乘法（Matrix Multiplication） | 批次預測、權重更新、特徵空間轉換的核心 |
| 轉置（Transpose） | 維度對齊與內積計算 |
| 矩陣求逆／偽逆（Inverse / Pseudo-Inverse） | 封閉解求解（如最小平方解），或反矩陣不存在時的近似解 |
具體應用：線性迴歸中 \(\hat{y}=X\theta\)；神經網路前向傳播 \(z^{(l)}=W^{(l)}a^{(l-1)}+b^{(l)}\)；PCA 需對特徵矩陣進行協方差計算與矩陣分解找出最具代表性的投影方向。
3. 線性變換：特徵空間的重構
線性變換（Linear Transformation）是在不破壞空間線性結構的前提下，對資料進行伸縮、旋轉或投影。神經網路、特徵工程與降維方法都大量仰賴線性變換。
| 幾何意涵 | 說明 |
|---|---|
| 縮放（Scaling） | 調整向量在各方向的長度，不改變方向 |
| 旋轉（Rotation） | 改變方向而不改變長度 |
| 剪切（Shearing） | 使向量方向產生傾斜變化 |
| 投影（Projection） | 將高維向量投射到子空間（如主成分空間或分類超平面），保留對任務最有意義的資訊 |
線性變換在模型中的典型出現形式：
- 線性/邏輯迴歸：\(y=w^\top x+b\)，本質為一維線性投影。
- 神經網路前向傳播：\(z^{(l)}=W^{(l)}a^{(l-1)}+b^{(l)}\)，經非線性激活後映射到下一層特徵空間。
- 嵌入層（Embedding Layer）：將離散類別轉為連續空間向量，核心操作是特定矩陣的線性查詢與轉換。
- 特徵投影與空間壓縮：如 LDA（線性判別分析）、Autoencoder，皆仰賴線性變換將高維資料重構為低維潛在向量空間。
4. 矩陣分解：降維與結構解構
矩陣分解（Matrix Factorization）將高維矩陣拆解為多個較小且具結構意義的子矩陣，實現降維、壓縮與轉換。
| 方法 | 原理 | 幾何意義 | 應用場景 |
|---|---|---|---|
| 特徵值分解（Eigenvalue Decomposition） | \(A=Q\Lambda Q^\top\)，適用於對稱方陣，\(Q\) 為特徵向量構成的正交矩陣，\(\Lambda\) 為特徵值對角矩陣 | 找出能穩定表示資料「拉伸方向」的基底，量化每個方向重要性 | PCA（投影到最大變異方向）、LDA（最大化類間差異、最小化類內變異） |
| 奇異值分解（SVD, Singular Value Decomposition） | \(X=U\Sigma V^\top\)，適用任意實數矩陣（不需方陣） | 不同空間基底的縮放與旋轉操作，數值穩定性佳 | 資料降維（保留前 k 個奇異值近似原始資料）、推薦系統（分解使用者-項目矩陣）、潛在語意分析（LSA）、影像壓縮 |
| 非負矩陣分解（NMF, Non-negative Matrix Factorization） | \(X \approx WH\)，\(W,H \ge 0\) | 資料視為「可加疊的部件」，具語意解釋力並引入稀疏性 | 主題建模、生物訊號分析、影像分析、社群分析 |
PCA 透過對協方差矩陣進行特徵值分解，找出最大變異方向，藉此降低維度並保留最重要資訊，這是選擇題常考的核心對應關係：PCA → 特徵值分解 → 最大變異方向。
維度簡化的效益
透過矩陣分解等技術進行維度簡化，可帶來：提升訓練效率（減少參數量與計算資源）、穩定模型表現（去除雜訊與共線性、降低過擬合風險）、強化資料解釋性、利於視覺化與後續分析。
5. 最小平方估計與線性迴歸的幾何觀點
最小平方估計（Ordinary Least Squares, OLS）是以「誤差最小化」為目標的參數估計方法，比較模型預測值與實際觀測值之差異，找出一組參數使誤差平方總和最小。
從幾何角度看，線性迴歸的本質是一種投影：將輸入資料在特徵空間中投影到一個最接近實際結果的平面上，這個平面就是模型學習到的線性關係。可記成「迴歸 = 找最近的投影平面」。
線性迴歸應用情境廣泛：銷售預測、醫療風險評估、房價估值、行為建模。資料若分佈過於分散或存在離群點，擬合出的平面可能會受到扭曲，這也說明了線性迴歸對離群值敏感的原因。
📝 章節考題自測（先作答，再點開解答）
Q1. 在主成分分析（PCA）中，常使用哪一種矩陣分解技術來找出資料的主軸方向？
(A) 矩陣求逆 (B) 矩陣轉置 (C) 特徵值分解 (D) 條件機率分解
解答與解析
參考 Ans: (C) PCA 透過對協方差矩陣進行特徵值分解，找出最大變異方向，並以此降低維度並保留最重要的資訊。
Q2. 若想將高維資料映射至較低維度空間，同時保留資料的主要變異，常用下列哪一種方法？
(A) 邊際機率估計 (B) 矩陣轉置 (C) 主成分分析 (D) 累積機率計算
解答與解析
參考 Ans: (C) 主成分分析（PCA）是常用的維度簡化工具，透過線性變換找出資料中變異最大的方向，將高維資料投影到較少維度上。
Q3. 奇異值分解（SVD）與特徵值分解相比，下列敘述何者正確？
(A) SVD 僅適用於對稱方陣 (B) SVD 可應用於任意實數矩陣，不需為方陣 (C) 特徵值分解可應用於任意矩陣 (D) 兩者完全相同
解答與解析
參考 Ans: (B) SVD 是一種可應用於任意實數矩陣（不需為方陣）的分解方法，將 \(X\) 拆解為 \(U\Sigma V^\top\)；特徵值分解則僅適用於對稱方陣。
Q4. 一筆樣本向量 \(x=[2,3]^\top\)，模型參數向量 \(\theta=[4,1]^\top\)，請計算線性模型的預測值 \(\hat{y}=\theta^\top x\)。
(A) 6 (B) 11 (C) 14 (D) 7
解答與解析
參考 Ans: (B) \(\hat{y} = \theta^\top x = 4\times2 + 1\times3 = 8+3 = 11\)。點積（Dot Product）運算即為對應元素相乘後加總，是線性模型預測的核心運算。
Q5. 下列何者為線性變換中「投影（Projection）」的幾何意涵？
(A) 改變向量方向但不改變長度 (B) 調整向量長度但不改變方向 (C) 將高維向量投射到子空間，保留對任務最有意義的資訊 (D) 使向量方向產生傾斜變化
解答與解析
參考 Ans: (C) 投影是將高維向量投射到某個子空間（如主成分空間或分類超平面），保留對任務最有意義的資訊；(A) 為旋轉、(B) 為縮放、(D) 為剪切。
Q6. 非負矩陣分解（NMF）與 PCA 相比，下列敘述何者正確？
(A) NMF 允許分解後的矩陣出現負值 (B) NMF 分解結果具有「可加疊部件」的語意解釋力，常用於主題建模 (C) NMF 與 PCA 完全等價 (D) NMF 不能用於降維
解答與解析
參考 Ans: (B) NMF 要求分解後矩陣 \(W,H \ge 0\)，將資料視為幾個可加疊的部件，提供具語意解釋力的解構方式，常應用於主題建模、生物訊號分析等；PCA 允許負值，兩者性質不同。
Q7. 線性迴歸從幾何角度來看，其本質最適合以下列何者描述？
(A) 分類邊界的劃分 (B) 將輸入資料投影到最接近實際結果的平面上 (C) 隨機抽樣過程 (D) 條件機率的貝氏更新
解答與解析
參考 Ans: (B) 線性迴歸的幾何本質是將輸入資料在特徵空間中投影到一個最接近實際結果的平面上，這個平面即為模型學習到的線性關係，也說明了為何離群值會扭曲擬合結果。