CH3.1 機率統計之機器學習基礎應用
機率統計之機器學習基礎應用
機器學習的核心邏輯是學習「條件機率分佈 P(Y|X)」→ 用機率模型（離散型 PMF／連續型 PDF）描述資料不確定性 → 用條件機率與貝氏定理從已知條件更新對事件的信念 → 用統計推論（參數估計／假設檢定）驗證資料與模型的可靠性 → 用統計量（期望值、標準差、偏態、峰度）描述資料分佈特性以支援特徵工程與模型評估。
1. 機率為何是機器學習的基礎
真實資料受限於觀察條件、取樣變異與內在隨機性，模型無法追求「唯一解」，而是要處理資料中不可避免的不確定性，並在此基礎上做出合理預測與決策。
機器學習模型的核心邏輯可表述為：「在特定觀察條件下，某結果發生的可能性有多大」，也就是學習一個條件機率分佈：
其中 \(X\) 為輸入特徵（Feature）、\(Y\) 為目標變數（Label）。這個機率模型有兩種意涵：
| 意涵 | 說明 |
|---|---|
| 預測導向 | 模型輸出為某結果的機率（如分類機率），而非唯一確定性分類結果 |
| 不確定性評估 | 機率反映模型對預測的信心程度，有助於風險控制與決策制定 |
機器學習模型的常見目標之一就是推估條件機率 P(Y\|X)，例如邏輯迴歸、貝氏分類器都是以此為核心，而非尋找單一確定解。
2. 機率分佈：離散型 vs 連續型
根據隨機變數的特性，機率模型可分為離散型與連續型兩大類，分別以不同函數描述「取某值的機率」。
| 類型 | 隨機變數特性 | 描述函數 | 常見分佈 |
|---|---|---|---|
| 離散型 | 值有限或可數（如骰子點數、訂單數） | 機率質量函數（PMF, Probability Mass Function） | 伯努利、二項、泊松 |
| 連續型 | 值無限且連續（如身高、時間） | 機率密度函數（PDF, Probability Density Function） | 常態、均勻、指數、卡方 |
離散型機率分佈：PMF 描述隨機變數「每一個特定取值的機率」，且總和為 1：
| 分佈 | 說明 | 應用 |
|---|---|---|
| 伯努利分佈（Bernoulli） | 兩種可能結果（成功/失敗、點擊/未點擊） | 二元分類任務的理論基礎（如邏輯迴歸假設目標變數服從伯努利分佈） |
| 二項分佈（Binomial） | n 次獨立試驗中某事件發生的次數 | 多次伯努利事件的累計行為 |
| 泊松分佈（Poisson） | 固定時間/空間區間中某事件發生的次數，假設事件獨立且平均發生率為常數 | 稀有事件模擬（客服來電數、網頁請求數） |
連續型機率分佈：PDF 需滿足
| 分佈 | 說明 | 應用 |
|---|---|---|
| 常態分佈（Normal） | 對稱鐘型分佈，最常見的連續分佈 | 誤差建模、參數估計、特徵標準化、生成模型（線性迴歸假設誤差項服從常態分佈） |
| 均勻分佈（Uniform） | 區間內所有值發生機率相同 | 參數初始化、隨機抽樣 |
| 指數分佈（Exponential） | 描述事件間隔時間，具無記憶性 | 等待時間/生存時間建模（機器故障時間） |
| 卡方分佈（Chi-square） | 獨立標準常態變數平方和的分佈 | 變異數分析、卡方適合度檢定、列聯表獨立性檢定 |
選用的機率分佈代表對資料生成機制的先驗假設：邏輯迴歸假設目標變數服從伯努利分佈；線性迴歸假設誤差項符合常態分佈；生成模型（如 VAE）則將潛在變數與觀察變數的分佈型態納入模型架構核心。
3. 條件機率與貝氏定理
(1) 條件機率
條件機率（Conditional Probability）是在已知某些條件（如輸入特徵）時，推估另一變數（如目標標籤）可能性的核心工具，也是貝氏推論的基礎：
表示事件 B 發生的前提下，事件 A 發生的機率。應用場景：
- 分類任務：學習條件機率 \(P(Y \mid X)\)，如邏輯迴歸、貝氏分類器。
- 風險預測：已知檢驗結果或行為模式，估計罹病風險、違約機率。
- 生成模型：隱馬可夫模型（HMM）中，條件機率建構潛在變數與觀察變數的依存關係。
(2) 貝氏定理
貝氏定理（Bayes' Theorem）建立在條件機率之上，是利用已知條件更新事件發生機率的方法：
| 元素 | 名稱 | 意義 |
|---|---|---|
| \(P(A)\) | 先驗機率（Prior Probability） | 觀察 B 之前，對 A 發生的初始信念 |
| \(P(B\mid A)\) | 概似／條件機率（Likelihood） | A 發生前提下，B 發生的可能性 |
| \(P(B)\) | 邊際機率（Marginal Probability） | B 發生的總體機率（加權總和） |
| \(P(A\mid B)\) | 後驗機率（Posterior Probability） | 觀察到 B 之後，對 A 的重新估計，是貝氏定理的核心輸出 |
貝氏定理口訣「先驗 × 概似 ÷ 邊際 = 後驗」。可記成：舊信念（先驗）遇到新證據（概似），除以整體背景（邊際），得到更新後的判斷（後驗）。
4. 統計推論與假設檢定
(1) 統計推論的兩大分支
統計推論（Statistical Inference）利用樣本資料對母體參數或模型行為進行估計與判斷，可分為兩大分支：
| 比較項目 | 參數估計（Parameter Estimation） | 假設檢定（Hypothesis Testing） |
|---|---|---|
| 目的 | 推測母體參數的「值」或「區間」 | 驗證某個關於母體參數的「主張」是否成立 |
| 重點問題 | 這個母體參數大約是多少？ | 我們是否有足夠證據拒絕一個假設？ |
| 輸出結果 | 點估計值（如平均數）與信賴區間（如 95% CI） | p 值、檢定統計量，並依顯著水準決定是否拒絕虛無假設 |
| 依據 | 基於樣本資料計算母體參數估計值 | 基於假設前提與樣本結果進行推論判斷 |
| 例子 | 平均體重估計為 68 公斤，95% CI 為 [66, 70] | 檢定 p=0.03＜α=0.05，拒絕虛無假設，認為新運動課程有效 |
(2) 假設檢定流程
假設檢定用於檢視樣本資料是否提供足夠證據來拒絕原先的假設，流程為：
1. 設定虛無假設（虛無假設）與對立假設 2. 選擇適當的檢定方法與檢定統計量 3. 決定顯著水準（α） 4. 計算檢定統計量與 p值 5. 比較 α 並進行決策
顯著水準（α）是「拒絕虛無假設時所容許的型一錯誤機率」，而不是平均值大小或資料筆數。常見設定 α=0.05，代表容許 5% 的型一錯誤（Type I Error，即虛無假設為真卻誤拒絕它的機率）。p 值則是「觀察到樣本資料後計算出的機率」，用來衡量資料與虛無假設的相符程度，兩者不可混淆。
5. 統計量：描述資料分佈的核心指標
統計量（Statistical Measures）廣泛應用於機器學習各階段，從資料探索、特徵工程到模型訓練、效能評估。
| 統計量 | 意義 | 機器學習應用 |
|---|---|---|
| 期望值（Expected Value） | 反映變數的平均趨勢 | 模型預測基準、參數估計核心（如線性迴歸截距項） |
| 變異數／標準差（Variance / SD） | 衡量資料離散程度 | 判斷特徵是否需標準化，避免尺度不一致造成訓練偏誤 |
| 偏態（Skewness） | 判斷分佈是否對稱 | 偏態過大常需對數轉換或 Box-Cox 轉換以改善模型收斂性 |
| 峰度（Kurtosis） | 觀察分佈是否具尖峰或厚尾 | 偵測異常值密度與風險擴散的參考指標 |
這些統計量常搭配直方圖、箱型圖、QQ-plot 等視覺化方式輔助解釋，協助判斷是否需要分群處理、變數轉換或資料清理。
📝 章節考題自測（先作答，再點開解答）
Q1. 若欲描述隨機變數在連續範圍內取值的機率分佈，最適合使用下列哪一種函數？
(A) 機率質量函數（PMF） (B) 條件機率 (C) 機率密度函數（PDF） (D) 累積分佈函數（CDF）
解答與解析
參考 Ans: (C) 機率密度函數（PDF）用於描述連續型隨機變數於某取值範圍內的機率分佈，連續變數在單一點的機率為零，需透過積分計算區間內機率。PMF 用於離散型變數；CDF 是累積機率工具，並非直接描述密度。
Q2. 若一隨機變數服從伯努利分佈（Bernoulli Distribution），該變數的可能取值為？
(A) 任何實數 (B) 0 或 1 (C) 正整數 (D) 任意整數
解答與解析
參考 Ans: (B) 伯努利分佈是典型二元分佈，僅有 0 與 1 兩種可能結果，例如成功/失敗、點擊/未點擊，是邏輯迴歸等二元分類模型的理論基礎。
Q3. 貝氏定理 \(P(A|B) = \dfrac{P(B|A)\cdot P(A)}{P(B)}\) 中，\(P(A)\) 稱為什麼？
(A) 後驗機率 (B) 先驗機率 (C) 邊際機率 (D) 概似
解答與解析
參考 Ans: (B) \(P(A)\) 是在觀察到事件 B 之前，對事件 A 發生的「初始信念」，稱為先驗機率（Prior Probability）。\(P(B|A)\) 才是概似（Likelihood），\(P(B)\) 為邊際機率，\(P(A|B)\) 為後驗機率。
Q4. 某疾病在人群中的盛行率（先驗機率）為 1%，某篩檢工具對患病者的陽性檢出率（概似）為 90%，對未患病者誤判為陽性的機率為 5%。若某人篩檢為陽性，其真正患病的後驗機率最接近下列何者？（可用貝氏定理計算）
(A) 約 90% (B) 約 50% (C) 約 15.4% (D) 約 1%
解答與解析
參考 Ans: (C) 設 A=患病，B=篩檢陽性。\(P(A)=0.01\)，\(P(B|A)=0.9\)，\(P(\lnot A)=0.99\)，\(P(B|\lnot A)=0.05\)。 邊際機率：\(P(B) = P(B|A)P(A) + P(B|\lnot A)P(\lnot A) = 0.9 \times 0.01 + 0.05 \times 0.99 = 0.009 + 0.0495 = 0.0585\) 後驗機率：\(P(A|B) = \dfrac{0.9 \times 0.01}{0.0585} = \dfrac{0.009}{0.0585} \approx 0.1538\)，約 15.4%。這說明即使檢驗看似準確，若疾病盛行率極低，陽性者真正患病的機率仍可能遠低於直覺預期。
Q5. 在進行假設檢定時，顯著水準（α）代表的意義是？
(A) 平均值的大小 (B) 模型運算速度 (C) 拒絕虛無假設時所容許的型一錯誤機率 (D) 資料筆數多少
解答與解析
參考 Ans: (C) 顯著水準（α）是研究者事先設定的風險上限，代表當虛無假設為真時，錯誤拒絕該假設的容忍機率，常見設定為 0.05，即容許 5% 的型一錯誤。
Q6. 承上題，p 值與顯著水準（α）的關係，下列敘述何者正確？
(A) p 值 ≥ α 時應拒絕虛無假設 (B) p 值 ＜ α 時應拒絕虛無假設 (C) p 值與 α 無關 (D) p 值恆等於 α
解答與解析
參考 Ans: (B) p 值是觀察到樣本資料後計算出的機率，用來衡量資料與虛無假設的相符程度。當 p 值小於事先設定的顯著水準 α 時，代表證據足以拒絕虛無假設；若 p 值 ≥ α，則無足夠證據拒絕虛無假設。
Q7. 若資料集中存在極端值，下列哪一種集中趨勢指標較不受影響？
(A) 平均數 (B) 變異數 (C) 標準差 (D) 中位數
解答與解析
參考 Ans: (D) 平均數會受極端值拉動而偏離中心位置；中位數是排序後取中間值，不會受少數極端值嚴重影響，因此偏態分佈或有極端值時常用中位數描述集中趨勢。
Q8. 邏輯迴歸（Logistic Regression）在處理二元分類問題時，通常假設目標變數服從下列哪一種分佈？
(A) 常態分佈 (B) 均勻分佈 (C) 伯努利分佈 (D) 泊松分佈
解答與解析
參考 Ans: (C) 邏輯迴歸假設目標變數為二元型態（0 或 1），服從伯努利分佈，並透過 Sigmoid 函數將線性輸出映射至機率區間 [0,1] 以完成二元分類。