🔑 名詞卡
t-digest
🎯 定義
一種高效估算中位數和任意分位數的近似演算法,特別適合大規模和串流數據處理,透過構建數據的近似分位數分佈快速計算統計量。
重點/應用
- 優勢:支援串流數據的增量式更新、允許多機分散式合併、記憶體需求低,適合雲端環境,精度在偏態分佈與含極端值的數據上仍相對穩定。
- 應用情境:電商平台快速估算百萬筆訂單的中位數消費額或 90th percentile;網路監控計算即時流量的 99th percentile 以識別 DDoS 等異常。
- 平台支援:Apache Spark(
approxQuantile())、Google BigQuery(APPROX_QUANTILES())、PostgreSQL + tdigest 擴充套件。
易混淆
- vs Histogram Sketch:t-digest 專注於精確估算「分位數」(如中位數、95th percentile);Histogram Sketch 則是建立近似「直方圖」以呈現整體資料的密度與集中特性,兩者皆屬近似統計工具但輸出型態不同。
- vs Count-Min Sketch:t-digest 估計「數值的分位數」,Count-Min Sketch 估計「項目出現的頻率次數」,用途完全不同。
📖 課文原文「t-digest 是一種高效估算中位數和任意分位數的演算法,特別適合大規模和串流數據處理……優勢:支援串流數據的增量式更新,允許多機分散式合併,記憶體需求低,適合雲端環境。」