阿里雲資料湖構建(Data Lake Formation,簡稱 DLF)是一款全託管的快速協助使用者構建雲上資料湖及Lakehouse的服務,為客戶提供了統一的中繼資料管理、統一的許可權與安全管理、便捷的資料入湖能力以及一鍵式資料探索能力。DLF可以協助使用者快速完成雲原生資料湖及Lakehouse方案的構建與管理,並可無縫對接多種計算引擎,打破資料孤島,洞察業務價值。
產品定價
產品功能架構
中繼資料管理,通過控制台查看和管理資料湖中中繼資料庫和表的資訊,通過新增中繼資料庫的方式操作中繼資料,整合到第三方應用服務。並支援多版本管理、可通過中繼資料發現和入湖任務自動產生中繼資料。
入湖基礎操作,通過入湖任務的方式將分散在MySQL、Kafka和PolarDB等資料統一儲存,入湖過程如果沒有定義中繼資料資訊,入湖任務會自動產生中繼資料的表資訊。
資料許可權管理,可以加強湖上資料許可權控制,保障資料安全。可支援對中繼資料庫、中繼資料表、中繼資料列三種粒度的許可權。
資料探索,為您提供一鍵式資料探索能力,可支援Spark 3.0 SQL文法,可以儲存歷史查詢,預覽資料,匯出結果,一鍵生產tpc-ds測試資料集。
湖管理,將為您提供對湖內資料存放區的分析及最佳化建議,加強對資料生命週期管理,最佳化使用成本,方便您進行資料營運管理。
應用情境
資料分析情境,通過中繼資料發現、資料探索能力,可以快速的對OSS內結構化、半結構化資料進行分析、探索。
結合E-MapReduce、OSS兩個產品,DLF協助客戶快速構建雲上資料湖。
結合MaxCompute、DataWorks、E-MapReduce3個產品,DLF協助客戶快速構建湖倉一體架構。
結合Databricks、OSS產品,構建雲上全託管Lakehouse資料架構。