首頁 / 學習筆記 / 中級科目二 / 敘述性統計與資料摘要技術

iPAS AI中級中級科目二📊 統計與資料分析
📖 學習筆記・中級科目二

CH3.1 敘述性統計與資料摘要技術

敘述性統計與資料摘要技術

🧭 本節架構

敘述性統計(Descriptive Statistics)三大面向:集中趨勢(平均數/眾數/中位數)→ 離散量度(變異數/標準差/全距/四分位距/箱形圖)→ 分佈形狀(偏度/峰度)。目的不在母體推論,而是快速彙整、呈現資料的核心特徵,為後續機率分佈與假設檢定奠定基礎。

1. 敘述性統計總覽

敘述性統計(Descriptive Statistics)著重於「將資料本身做最直接的總結與可視化」,提供一套彙整、整理並呈現現有資料的技術,目的不在於做母體推論,而在於快速、清晰地了解樣本資料中有哪些重要特徵或潛在模式。通常分為三大面向:

面向核心問題常見指標
集中趨勢(Central Tendency)資料「最常見或核心的位置」在哪裡?平均數、眾數、中位數
離散量度(Variability/Dispersion)資料分散的程度有多大?變異數、標準差、全距、四分位距
分佈形狀(Shape)資料是否對稱?尾部厚薄如何?偏度(Skewness)、峰度(Kurtosis)
🎯 核心觀念

「集中趨勢」找到資料的核心位置,「離散量度」判斷其波動情形,兩者是敘述性統計中最核心的度量指標,也是後續假設檢定、迴歸分析或機器學習模式設計的基礎輔助。

2. 集中趨勢測量

(1) 算術平均(Arithmetic Mean)

以全部樣本數值總和除以樣本筆數,展現資料的整體水準:

\[\bar{x} = \frac{x_1+x_2+\cdots+x_n}{n}\]
  • 優勢:計算容易、概念直覺,普及度高。
  • 侷限:對極端值敏感,少數離群點可能顯著拉高或拉低平均數;無法呈現分散度。

(2) 幾何平均(Geometric Mean)

適用於成長率、報酬率等「乘積效應」情境,可避免算術平均失真:

\[\text{幾何平均} = \left(\prod_{i=1}^{n} x_i\right)^{\frac{1}{n}}\]
  • 優勢:能真實反映連續乘積(如股價成長)的總體累積效應,對百分比/比率型資料更具代表性。
  • 侷限:資料必須全為正值(>0),不適用於含負數或零的情況。

(3) 調和平均(Harmonic Mean)

常用於速率類數據(如行駛速度、油耗),適合整合「效率性」度量:

\[\text{調和平均} = \frac{n}{\sum_{i=1}^{n}\frac{1}{x_i}}\]
  • 優勢:對速率或效率類數據較合理,需要「逆值」加權時比算術平均更準確。
  • 侷限:不能有零或負值;一般在非速率環境使用時意義不顯著。

三種平均數比較

平均數適用情境前提限制
算術平均一般集中趨勢描述(平均薪資、平均銷售額)對極端值敏感
幾何平均成長率、報酬率等乘積效應資料需皆為正值
調和平均速率、效率類數據(如平均速度)不能有零或負值
🧠 記憶技巧

「加法用算術、乘法用幾何、倒數用調和」——算術平均看總和,幾何平均看連乘(成長率),調和平均看倒數平均(速率)。

(4) 眾數(Mode)

樣本中出現頻率最高的值。適用於類別型資料(如產品分類),易於解釋,但連續型資料需先分桶(Bin)才能判斷眾數,若分佈分散或多峰,定義會更複雜。

(5) 中位數(Median)

取排序後中間位置值,對長尾或極端值不敏感,常用於收入或房價分析。

\[中位數 = \begin{cases} x_{\frac{n+1}{2}} & n \text{ 為奇數} \\[4pt] \dfrac{x_{\frac{n}{2}} + x_{\frac{n}{2}+1}}{2} & n \text{ 為偶數} \end{cases}\]

優勢:有效對抗極端值。侷限:無法呈現離散度。

集中趨勢指標比較

指標是否受極端值影響適用資料型態代表情境
平均數易受影響連續型、無明顯極端值平均薪資
中位數不易受影響連續型、含極端值或偏態房價、所得分配
眾數不受影響類別型、多峰資料最暢銷商品

3. 離散程度測量

(1) 變異數與標準差

變異數衡量資料偏離平均數的程度,標準差為變異數的平方根,單位與原資料相同:

\[\sigma^2 = \frac{1}{N}\sum_{i=1}^{N}(x_i-\mu)^2 \qquad \sigma = \sqrt{\frac{1}{N}\sum_{i=1}^{N}(x_i-\mu)^2}\]
  • 優勢:能為數據集的風險或不確定性提供清晰的衡量。
  • 侷限:對極端值(離群值)極為敏感,僅顯示與平均數的距離,資料偏斜時需搭配其他指標。

(2) 全距、四分位距、四分位數

  • 全距(Range):最大值與最小值之差,簡單易懂但單一極端值即可大幅影響結果。
  • 四分位數(Quartiles):將資料集劃分為四等份的三個切點——Q1(下四分位數,25% 分位)、Q2(中位數,50% 分位)、Q3(上四分位數,75% 分位)。
  • 四分位距(IQR, Interquartile Range):
\[IQR = Q_3 - Q_1\]

由於 IQR 的計算完全不涉及最大值與最小值,能有效排除兩端極端值的干擾,特別適合處理含有離群值的資料,可準確反映資料的集中分佈範圍;侷限是雖能過濾極端值,卻不提供資料分佈的具體細節。

📌 補充

初級課程曾提到「IQR 與全距有一樣的缺點(受極端值影響)」,這是較簡化的說法。更精確地說:全距直接使用最大值、最小值,因此對極端值極敏感;IQR 只使用 Q1、Q3(中間 50% 的邊界),已排除了兩端最極端的資料,因此對離群值的抵抗力遠優於全距,這也是箱形圖以 IQR 而非全距界定「正常範圍」的原因。

(3) 箱形圖(Box Plot)

又稱盒鬚圖,可視化資料集中趨勢與離散程度,尤其在探索性資料分析(EDA)中非常有用。

組成意義
中位數(Q2)箱內水平線,資料的中間位置
箱體上下界(Q1、Q3)中間 50% 資料範圍,即 IQR
鬚(Whiskers)上鬚 = Q3 + 1.5×IQR;下鬚 = Q1 − 1.5×IQR,代表「正常」資料的邊界
離群值(Outliers)超過鬚範圍的資料點,通常以圓點或星形標註
⚠️ 易錯點

箱形圖的上鬚(Upper Whisker)若稱為「最大值」,指的是不包括離群值的最大值,不見得等於整個資料集的真實最大值;下鬚同理。

優勢:直觀展示資料主要特徵(集中度、分佈範圍、異常值),無需繁瑣計算即可快速比較多組資料。侷限:無法顯示資料的精確形狀(如多峰分佈),對非常大範圍的資料只能反映整體趨勢。

離散量度比較

指標計算基礎對極端值的敏感度適用情境
全距最大值 − 最小值極高快速掌握總體範圍
四分位距(IQR)Q3 − Q1低(已排除兩端)含離群值的資料、箱形圖
標準差每筆資料與平均數之差的平方高衡量整體波動、風險評估

4. 分佈形狀:偏度與峰度

在集中趨勢與離散程度之外,仍需探究資料分佈的「形態」,這對機器學習特徵工程、風險管理、異常偵測皆有實質影響。

(1) 偏度(Skewness)

衡量資料分佈對稱程度的統計指標,反映資料是否均勻分佈於平均值兩側或存在長尾現象。

型態偏度值特徵範例
正偏態(右偏)> 0右側尾部更長,主體集中左側房價(少數豪宅拉高均值)
負偏態(左偏)< 0左側尾部更長,主體集中右側設備壽命(少數早期故障拉低均值)
接近對稱≈ 0趨近理想常態分佈工廠標準化產品重量

(2) 峰度(Kurtosis)

衡量資料分佈「尾部與峰頂的尖銳程度」,即是否「高峰重尾」或「扁平輕尾」。以 Pearson 定義(常態峰度標準 = 3)為例:

型態峰度值特徵
高峰(Leptokurtic)> 3比常態分佈更集中於中心,極端值(outliers)出現機率更高,模型外推或異常檢測風險需特別留意
中峰(Mesokurtic)≈ 3接近常態分佈,可作為比較其他分佈的參照
扁平(Platykurtic)< 3分佈較分散、平坦,較少極端值
⚠️ 易錯點

峰度的比較基準是常態分佈的峰度 = 3(Pearson 定義),而非 0——「峰度 > 3」才是高峰、「峰度 < 3」才是扁平,這與偏度以 0 為基準的判讀方式不同,考試常設計混淆選項。

🧠 記憶技巧

偏度看「左右對不對稱」(正偏右尾長、負偏左尾長),峰度看「中間尖不尖、尾巴厚不厚」(>3 高峰重尾、<3 扁平輕尾)。

📝 章節考題自測(先作答,再點開解答)

Q1. 某公司近三年營收成長率分別為 10%、20%、30%,欲計算「平均成長率」,下列何種平均數最適合?

(A) 算術平均 (B) 幾何平均 (C) 調和平均 (D) 眾數

解答與解析

參考 Ans: (B) 成長率、報酬率屬於「乘積效應」情境,應使用幾何平均以避免算術平均失真。若用算術平均計算 (10%+20%+30%)/3 = 20%,並不能正確反映三年複合成長的真實效果,需改用幾何平均 \((1.1 \times 1.2 \times 1.3)^{1/3}-1\) 才符合連乘的本質。

Q2. 某物流公司想計算車隊的「平均行駛速度」,已知各路段花費的時間不同,下列何種平均數最適合?

(A) 算術平均 (B) 幾何平均 (C) 調和平均 (D) 中位數

解答與解析

參考 Ans: (C) 調和平均常用於速率類數據(如行駛速度、油耗),能合理處理「逆值」加權的情境,避免算術平均在速率計算上失真。

Q3. 一組所得資料中包含少數極端高所得者,下列敘述何者正確?

(A) 平均數會低於中位數 (B) 平均數會高於中位數,呈正偏態 (C) 眾數會高於平均數 (D) 該資料必為左偏態

解答與解析

參考 Ans: (B) 少數極端高值會將平均數向右拉高,形成右側尾部更長的正偏態(右偏),此時平均數 > 中位數 > 眾數,是所得分配資料的典型型態。

Q4. 已知某資料集 Q1 = 40,Q3 = 70,下列敘述何者正確?

(A) IQR = 30,上鬚理論邊界為 70 + 1.5×30 = 115 (B) IQR = 110 (C) 全距必為 30 (D) IQR 會受最大值影響

解答與解析

參考 Ans: (A) \(IQR = Q_3 - Q_1 = 70 - 40 = 30\)。上鬚(Upper Whisker)理論邊界 \(= Q_3 + 1.5 \times IQR = 70 + 1.5 \times 30 = 115\)。(B) 計算錯誤;(C) 全距為最大值減最小值,題目未給出,無法判定為 30;(D) IQR 的計算不涉及最大值,不受其影響,這正是 IQR 優於全距之處。

Q5. 下列何者最能反映類別型資料(如產品顏色偏好)的集中趨勢?

(A) 算術平均 (B) 幾何平均 (C) 中位數 (D) 眾數

解答與解析

參考 Ans: (D) 眾數適用於類別型資料,可快速指出「最常見」的類型;平均數與中位數皆需要數值排序或運算,不適用於無序類別資料。

Q6. 若某資料分佈的峰度(Kurtosis,Pearson 定義)為 5,下列敘述何者正確?

(A) 屬於扁平分佈(Platykurtic) (B) 屬於高峰分佈(Leptokurtic),極端值出現機率較常態分佈高 (C) 該分佈為負偏態 (D) 該分佈峰度與常態分佈相同

解答與解析

參考 Ans: (B) Pearson 定義下常態分佈峰度基準為 3,峰度 5 > 3 屬於高峰(Leptokurtic),代表資料比常態分佈更集中於中心,且極端值出現的機率較高,模型外推與異常偵測時需特別留意風險。(A)(D) 錯誤,(C) 峰度與偏度是不同的形狀指標,題目未提供偏度資訊,不能推論偏態方向。

Q7. 關於箱形圖(Box Plot)的敘述,下列何者錯誤?

(A) 箱體上下邊界分別為 Q3 與 Q1 (B) 上鬚一定等於資料集的真實最大值 (C) 可用來快速比較多組資料的分佈差異 (D) 超出 Q1−1.5×IQR 或 Q3+1.5×IQR 的資料點視為離群值

解答與解析

參考 Ans: (B) 上鬚代表「不包括離群值」的最大值,不見得等於整個資料集的真實最大值;若資料集存在超過 Q3+1.5×IQR 的離群值,真實最大值會大於上鬚。其餘選項皆為箱形圖的正確特性。

Q8. 下列關於標準差與四分位距(IQR)的敘述,何者正確?

(A) 兩者皆完全不受極端值影響 (B) 標準差計算會用到每一筆資料與平均數的差,因此對極端值較敏感;IQR 只用到 Q1、Q3,相對穩健 (C) IQR 一定大於標準差 (D) 標準差只反映中間 50% 資料的範圍

解答與解析

參考 Ans: (B) 標準差的計算涉及全部資料點與平均數的離差平方,因此對極端值高度敏感;IQR 只取 Q1、Q3 兩個分位點,天生排除了兩端最極端的資料,相對穩健。(C)(D) 並無此必然關係或定義。