全部產品
Search
文件中心

Data Lake Formation:產品簡介

更新時間:Jul 13, 2024

阿里雲資料湖構建(Data Lake Formation,簡稱 DLF)是一款全託管的快速協助使用者構建雲上資料湖及Lakehouse的服務,為客戶提供了統一的中繼資料管理、統一的許可權與安全管理、便捷的資料入湖能力以及一鍵式資料探索能力。DLF可以協助使用者快速完成雲原生資料湖及Lakehouse方案的構建與管理,並可無縫對接多種計算引擎,打破資料孤島,洞察業務價值。

產品定價

  • 資料湖構建的資料入湖、資料探索、許可權管理、湖管理功能均為公測免費階段,無計費。

  • 中繼資料管理功能隨用隨付,每個月中繼資料Object Storage Service<=100萬個以下免費;超過上述數量會有計費,詳情請參考計費

  • 每個月API請求數量<=100萬個以下免費。超過上述數量會有計費,詳情請參考計費

產品功能架構

DLF產品架構

  • 中繼資料管理,通過控制台查看和管理資料湖中中繼資料庫和表的資訊,通過新增中繼資料庫的方式操作中繼資料,整合到第三方應用服務。並支援多版本管理、可通過中繼資料發現和入湖任務自動產生中繼資料。

  • 入湖基礎操作,通過入湖任務的方式將分散在MySQL、Kafka和PolarDB等資料統一儲存,入湖過程如果沒有定義中繼資料資訊,入湖任務會自動產生中繼資料的表資訊。

  • 資料許可權管理,可以加強湖上資料許可權控制,保障資料安全。可支援對中繼資料庫、中繼資料表、中繼資料列三種粒度的許可權。

  • 資料探索,為您提供一鍵式資料探索能力,可支援Spark 3.0 SQL文法,可以儲存歷史查詢,預覽資料,匯出結果,一鍵生產tpc-ds測試資料集。

  • 湖管理,將為您提供對湖內資料存放區的分析及最佳化建議,加強對資料生命週期管理,最佳化使用成本,方便您進行資料營運管理。

應用情境

  • 資料分析情境,通過中繼資料發現、資料探索能力,可以快速的對OSS內結構化、半結構化資料進行分析、探索。

  • 結合E-MapReduceOSS兩個產品,DLF協助客戶快速構建雲上資料湖。

image

湖倉一體情境

  • 結合DatabricksOSS產品,構建雲上全託管Lakehouse資料架構。

全託管Lakehouse資料架構