首頁 / 名詞卡 / 資料工程與MLOps / 資料湖(Data Lake)

iPAS AI中級🗄️ 資料工程與MLOps
🔑 名詞卡

資料湖(Data Lake)

🎯 定義

一種以原始格式儲存各類資料(結構化、半結構化、非結構化)的架構,主要目標為建立一個統一且彈性強的儲存平台,支援日後多種分析與處理任務。

重點/應用

  • 原始資料保留:允許儲存尚未轉換、未清洗的原始資料。
  • Schema-on-Read:資料儲存時不強制定義結構,待使用時才套用結構,具高度彈性。
  • 資料湖倉(Data Lakehouse):結合資料湖的彈性儲存與成本效益,以及資料倉儲的結構化查詢與資料治理能力的融合架構。
  • 常見工具:Hadoop + HDFS + Hive、Delta Lake、Apache Iceberg、Apache Hudi(支援 ACID 操作與版本控制)。

記憶技巧

「湖」裝的是原始、未經處理的水(資料),要用時才過濾(套 Schema);「倉」裡放的是已經整理裝箱的貨(結構化資料),進倉前就要先分類好。

易混淆

  • vs 資料倉儲:資料湖採 Schema-on-Read(先存後定義結構),資料倉儲採 Schema-on-Write(先定義結構才能寫入);資料湖支援多樣、原始型態資料,資料倉儲則以結構化、已清洗的資料為主,主要用於商業智慧報表分析。
📖 課文原文

「資料湖(Data Lake)是一種以原始格式儲存各類資料(結構化、半結構化、非結構化)的架構,主要目標為建立一個統一且彈性強的儲存平台,支援日後多種分析與處理任務……資料在儲存時不強制定義資料結構,待使用時才套用結構,具高度彈性。」