首頁 / 名詞卡 / 資料工程與MLOps / 資料代表性(Representativeness)

iPAS AI中級🗄️ 資料工程與MLOps
🔑 名詞卡

資料代表性(Representativeness)

🎯 定義

訓練資料是否能準確涵蓋其所欲建模的整體群體,避免過度集中於特定族群、文化、語言或背景。代表性不足會使模型產生系統性偏見(Systematic Bias)。

四類偏誤風險

偏誤類型成因後果
性別與族群偏誤語料過度代表某一性別或種族將醫師、工程師預設為男性,護士、助理預設為女性
地區與文化偏誤語料主要來自特定語系或文化難以反映其他地區語言習慣,造成跨語言應用障礙
社經地位偏誤資料集中於高收入、都市區用戶對中低收入或偏鄉族群需求理解不足
資料來源平台偏誤語料主要來自特定社群平台或論壇用語偏離主流人口,無法處理正式或多元語境

記憶技巧

代表性=「你的資料像不像真實世界的人口比例」。控制偏誤的時機在資料收集與前處理階段,不是等模型訓練完才補救。

易混淆

  • vs 資料多樣性:多樣性看「涵蓋範圍夠不夠廣」(模態、風格、主題、情境);代表性看「各族群比例對不對」。多樣性不足 → 生成內容單調;代表性不足 → 生成內容有偏見。
  • vs 演算法偏見:資料代表性是成因,演算法偏見是結果。
📖 課文原文

「資料代表性(Representativeness)指的是訓練資料是否能準確涵蓋其所欲建模的整體群體,避免過度集中於特定族群、文化、語言或背景。」