全部產品
Search
文件中心

Data Lake Formation:什麼是資料湖構建

更新時間:Nov 30, 2024

阿里雲資料湖構建(Data Lake Formation,簡稱 DLF)是一款全託管的快速協助使用者構建雲上資料湖及Lakehouse的服務,為客戶提供了統一的中繼資料管理、統一的許可權與安全管理以及一鍵式資料探索能力。DLF可以協助使用者快速完成雲原生資料湖及Lakehouse方案的構建與管理,並可無縫對接多種計算引擎,打破資料孤島,洞察業務價值。

產品定價

  • 資料湖構建的資料探索、許可權管理、湖管理功能均為公測免費階段,無計費。

  • 中繼資料管理功能隨用隨付,每個月中繼資料Object Storage Service≤100萬個以下免費;超過上述數量會有計費,詳情請參考產品計費

  • 每個月API請求數量≤100萬個以下免費。超過上述數量會有計費,詳情請參考產品計費

功能架構

  • 資料目錄:通過控制台查看和管理資料湖中的資料目錄。

  • 資料庫表及函數:通過控制台查看和管理資料湖中資料庫表及函數資訊,通過新增資料庫新增資料表的方式操作中繼資料,整合到第三方應用服務。並支援多版本管理、可通過中繼資料抽取自動產生中繼資料。

  • 資料許可權管理:可以加強湖上資料許可權控制,保障資料安全。支援對資料目錄、資料庫、資料表、資料列、函數五種粒度的許可權。

  • 湖管理:為您提供對湖內資料存放區的分析及最佳化建議,加強對資料生命週期管理,最佳化使用成本,方便您進行資料營運管理。

  • 資料探索:為您提供一鍵式資料探索能力,可支援Spark 3.0 SQL文法,可儲存歷史查詢、預覽資料、匯出結果、一鍵生產TPC-DS測試資料集。

應用情境

情境一:構建雲上資料湖

結合E-MapReduceOSS兩個產品,DLF協助客戶快速構建雲上資料湖。

情境二:構建湖倉一體架構

結合MaxComputeDataWorksE-MapReduce三個產品,DLF協助客戶快速構建湖倉一體架構。

情境三:構建全託管Lakehouse資料架構

結合DatabricksOSS產品,構建雲上全託管Lakehouse資料架構。

情境四:資料分析情境

通過中繼資料抽取、資料探索能力,可以快速地對OSS內結構化、半結構化資料進行分析、探索。