全部產品
Search
文件中心

Data Lake Formation:概述

更新時間:Jul 13, 2024

資料湖構建可以協助使用者快速構建雲上資料湖,採用統一的管理視角治理資料湖。

本產品目前處於公測階段,您可以隨時開通使用,目前資料湖構建所有功能均為免費使用階段。

使用者使用流程

資料湖構建將協助您快速簡潔抽取來源資料到統一資料湖的服務,使用者使用流程如下:

  1. 開通公測流程後,登入阿里雲管理主控台,選擇資料湖構建,進入資料湖管理主控台

  2. 參見資料來源管理章節,建立資料來源,選擇希望匯入到資料湖的資料來源。

  3. 參見入湖模板章節,建立資料湖模板,定期將資料來源中的資料幫浦到資料湖。

  4. 參見中繼資料管理章節,定義資料湖的中繼資料庫和表。

控制台概覽

控制台概覽分為2個部分,左側為主要功能區,右側為產品主要資訊,協助使用者快速上手產品。資料湖控制台

註冊資料湖位置

阿里雲資料湖構建採用OSS作為統一資料湖位置,使用者需要註冊一個OSS的Bucket或OSS路徑作為資料湖位置。

中繼資料管理

資料湖中繼資料管理組件括中繼資料庫和中繼資料表兩層結構構成。

資料來源

使用者從資料來源抽取資料到註冊的資料湖位置,資料湖構建支援多種形式的資料來源,目前RDS MySQL已對外開放。

參數

描述

串連名稱

資料湖構建中惟一的名稱

連線類型

目前支援RDS MySQL

使用者名稱

串連MySQL資料庫的使用者名稱

密碼

串連MySQL資料庫的密碼

Virtual Private Cloud絡(VPC)

資料庫所在的vpc

交換器(Switch)

資料庫所在的交換器

安全性群組

資料庫所在的安全性群組

入湖模板

使用者建立入湖模板將資料來源中的資料通過手動或者定時的方式抽取到資料湖中。