血緣查看 - DataWorks

使用DataWorks資料地圖查看錶或資料服務API時，可在對應的詳情頁面查看詳細的血緣資訊，這對於資料溯源及管理有很大協助，本文為您介紹資料地圖的血緣查看能力。

表血緣

查看入口

尋找某張表並進入表詳情頁面後，您可以單擊血緣資訊頁簽，查看錶級和欄位級的血緣詳情。同時，您也可以進行影響分析，擷取當前表的下遊表列表，支援下載下遊表列表為本地檔案或通過郵件進行變更通知。

說明

資料地圖支援展示基於調度作業、資料流轉資訊解析得出的表和表、欄位和欄位之間的血緣關係；暫不包含臨時查詢等手動操作產生的血緣關係。離線資料T+1更新其血緣關係。

各資料來源使用限制

E-MapReduce

DataLake或自訂叢集若要在DataWorks管理中繼資料，需先在叢集側配置EMR-HOOK。若未配置，則在DataWorks中無法展示血緣關係。配置EMR-HOOK，詳情請參見配置Hive的EMR-HOOK。
EMR on ACK類型的Spark叢集及EMR Serverless Spark叢集不支援查看血緣關係。
EMR Presto節點的任務不支援查看血緣關係。

AnalyticDB for MySQL

對於AnalyticDB for MySQL類型的表，部分SQL處理命令不支援在資料地圖中產生血緣關係資訊，限制詳情如下。

不支援展示血緣的SQL命令：

不支援的SQL

樣本

不支援join、union，或使用了*等關鍵字。

例如，以下SQL中使用了*，資料地圖無法展示血緣關係。

insert into test select * from test1, test2 where test1.id = test2.id

不支援子查詢。

例如，以下SQL中包含子查詢，資料地圖無法展示血緣關係。

SELECT column1, column2 FROM table1 WHERE column3 IN (SELECT column4 FROM table2 WHERE column5 = 'value')

可正常展示血緣的SQL命令樣本：
- 樣本1：建立名為A的表（不包含具體列資訊），同時從B表中選擇某些具體列（不包含*）作為A表的內容。例如：
```
create table test as select id,name from test1;
```
- 樣本2：將表A中滿足條件column1= value1的表A中某些具體列（不包含*）資料插入到B表（不包含具體列資訊）中。例如：
```
insert into test select id,name from test1 where name='test';
```
- 樣本3：將A表的某些列（不包含*）資料覆蓋寫入到某個資料庫中的B表中。例如：
```
INSERT OVERWRITE INTO db_name.test SELECT id,name from test1;
```

CDH

如果需要在資料地圖中展示CDH Spark SQL及CDH Spark節點資料加工過程的表血緣關係，請按照資料加工的模組，在管理中心 > 叢集管理的Spark參數處單獨配置。

進入管理中心頁面。
登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的管理中心，在下拉框中選擇對應工作空間後單擊進入管理中心。
在左側導覽列單擊叢集管理，然後找到已建立的目標CDH叢集。
單擊編輯SPARK參數。
根據具體資料加工模組添加Spark參數。
例如要在資料地圖中展示CDH Spark SQL及CDH Spark節點在營運中心-周期執行個體模組中資料加工過程的表血緣關係，則需要在對應模組中，添加如下參數：
- Spark屬性名稱：spark.sql.queryExecutionListeners
- Spark屬性值：com.aliyun.dataworks.meta.lineage.LineageListener
單擊完成編輯。

各資料來源血緣展示情況說明

資料來源

Data Integration

資料開發

表級血緣

欄位級血緣

表級血緣

欄位級血緣

MaxCompute

詳情頁

詳情頁-血緣資訊

離線同步

即時同步（MySQL/Kafka/PolarDB MySQL/LogHub同步至MaxCompute）

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Hologres

詳情頁

詳情頁-血緣資訊

離線同步

即時同步（MySQL/Kafka/LogHub同步至Hologres）

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

E-MapReduce

詳情頁

詳情頁-血緣資訊

離線同步

（OSS、Hive）

即時同步

離線同步

（OSS、Hive）

即時同步

Hive、Spark（spark-submit）、Spark SQL（支援Hudi格式）、Shell（使用beeline提交的Hive SQL）

insert into /insert overwrite table

create as select from table

create external table

Hive、Spark（spark-submit）、Spark SQL（支援Hudi格式）、Shell（使用beeline提交的Hive SQL）

insert into /insert overwrite table

create as select from table

create external table

AnalyticDB MySQL

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

AnalyticDB PostgreSQL

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

StarRocks

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

ClickHouse

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

CDH/CDP

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

Hive、Impala、Spark、Spark SQL

insert into /insert overwrite table

create as select from table

create external table

Hive、Impala、Spark、Spark SQL

insert into /insert overwrite table

create as select from table

create external table

MySQL

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

（MySQL同步至MaxCompute/Hologres）

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PostgreSQL

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

SQL Server

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Tablestore（OTS）

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Oracle

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OceanBase

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

OSS

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB MySQL

詳情頁

詳情頁-血緣資訊

離線同步

即時同步（PolarDB MySQL同步至MaxCompute）

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

PolarDB PostgreSQL

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

Kafka

詳情頁

詳情頁-血緣資訊

離線同步

即時同步

（Kafka同步至MaxCompute/Hologres）

離線同步

即時同步

insert into /insert overwrite table

create as select from table

create external table

insert into /insert overwrite table

create as select from table

create external table

資料服務API血緣

尋找某個資料服務API並進入API詳情頁面後，您可以單擊血緣資訊頁簽，查看API的血緣詳情。