阿里雲資料湖構建(Data Lake Formation,簡稱 DLF)是一款全託管的快速協助使用者構建雲上資料湖及Lakehouse的服務,為客戶提供了統一的中繼資料管理、統一的許可權與安全管理以及一鍵式資料探索能力。DLF可以協助使用者快速完成雲原生資料湖及Lakehouse方案的構建與管理,並可無縫對接多種計算引擎,打破資料孤島,洞察業務價值。
產品定價
功能架構
資料目錄:通過控制台查看和管理資料湖中的資料目錄。
資料庫表及函數:通過控制台查看和管理資料湖中資料庫表及函數資訊,通過新增資料庫、新增資料表的方式操作中繼資料,整合到第三方應用服務。並支援多版本管理、可通過中繼資料抽取自動產生中繼資料。
資料許可權管理:可以加強湖上資料許可權控制,保障資料安全。支援對資料目錄、資料庫、資料表、資料列、函數五種粒度的許可權。
湖管理:為您提供對湖內資料存放區的分析及最佳化建議,加強對資料生命週期管理,最佳化使用成本,方便您進行資料營運管理。
資料探索:為您提供一鍵式資料探索能力,可支援Spark 3.0 SQL文法,可儲存歷史查詢、預覽資料、匯出結果、一鍵生產TPC-DS測試資料集。
應用情境
情境一:構建雲上資料湖
結合E-MapReduce、OSS兩個產品,DLF協助客戶快速構建雲上資料湖。
情境二:構建湖倉一體架構
結合MaxCompute、DataWorks、E-MapReduce三個產品,DLF協助客戶快速構建湖倉一體架構。
情境三:構建全託管Lakehouse資料架構
結合Databricks、OSS產品,構建雲上全託管Lakehouse資料架構。
情境四:資料分析情境
通過中繼資料抽取、資料探索能力,可以快速地對OSS內結構化、半結構化資料進行分析、探索。