首頁 / 名詞卡 / 資料工程與MLOps / 資料管線(Data Pipeline)

iPAS AI中級🗄️ 資料工程與MLOps
🔑 名詞卡

資料管線(Data Pipeline)

🎯 定義

確保資料能持續、穩定地流入模型運行流程的自動化處理鏈,涵蓋資料擷取、格式轉換、清理與入庫四個階段。

資料來源

現代 AI 系統須從多種來源取得資料:

來源說明
資料倉儲(Data Warehouse)企業內部已結構化整理的資料
資料湖(Data Lake)大規模非結構化資料
IoT 裝置即時回傳的感測資料
第三方 API外部系統提供的資料

記憶技巧

Data Pipeline=「資料的自來水管」——四個階段口訣:擷取 → 轉換 → 清理 → 入庫。

易混淆

  • vs ETL:ETL(Extract-Transform-Load)是資料管線最典型的實作模式;資料管線是更廣義的概念,可涵蓋批次(ETL/ELT)與串流(Streaming)兩種型態。
  • vs MLOps:資料管線負責「資料流」,MLOps 負責「模型的生命週期」,兩者在 AI 系統中並行運作。
📖 課文原文

「為確保資料能夠持續、穩定地流入模型運行流程,需建立完整的資料管線(Data Pipeline),涵蓋資料擷取、格式轉換、清理與入庫流程。」