全部產品
Search
文件中心

DataWorks:各類型節點自動解析情境

更新時間:Jun 08, 2024

本文為您匯總了各類型節點的自動解析配置原則,以及不支援自動解析的情境,您可根據業務需求使用。

自動解析的配置原則

各類型節點的自動解析配置原則如下表。

節點類型

代碼命令

自動解析

調度依賴配置規則

ODPS節點

  • CREATE

  • INSERT

當節點代碼中出現此類輸出命令時,會自動為節點添加一條本節點輸出配置內容。

為節點自動添加的本節點輸出命名規則為odps_project_name.table_name。其中:

  • odps_project_name:為當前節點所在的DataWorks專案名稱。

  • table_name:為對應命令後的表名稱。

SELECT

當節點代碼中出現此命令時,會自動為節點添加一條依賴的上遊節點配置內容。

為節點自動添加的依賴的上遊節點命名規則為project_name.table_name。其中:

  • project_name:SELECT語句中,from命令後的表所在節點的專案名稱。

  • table_name:SELECT語句中from命令後的表名稱。

非ODPS的SQL節點

  • CREATE

  • INSERT

  • ALTER

  • UPDATE

當節點代碼中出現此類輸出命令時,會自動為節點添加一條本節點輸出配置內容。

各類型節點自動添加的本節點輸出命名規則為:

  • EMR:workspace_name.db_name.table_name

  • ADBPG:workspace_name.db_name.schema_name.table_name

  • ADBMySQL:workspace_name.db_name.schema_name.table_name

  • Hologres:workspace_name.db_name.schema_name.table_name

其中:

  • workspace_name:為當前節點所在的DataWorks專案名稱。

  • db_name:為當前節點所在的資料庫名稱。

  • schema_name:為當前節點的schema名稱。

  • table_name:為輸出命令後的表名稱。

SELECT

當節點代碼中出現此命令時,會自動為節點添加一條依賴的上遊節點配置內容。

為節點自動添加的依賴的上遊節點命名規則為project_name.table_name。其中:

  • project_name:SELECT語句中,from命令後的表所在節點的專案名稱。

  • table_name:SELECT語句中from命令後的表名稱。

離線同步節點

離線同步節點不支援自動解析,需手動添加節點的調度依賴配置。

不支援自動解析的情境

如下情況不支援自動解析:

  • 部分節點可能暫不支援自動解析,節點是否支援自動解析請以實際介面為準。

    例如:離線節點、AnalyticDB for PostgreSQL節點等不支援通過自動解析添加節點的調度依賴,這類節點的產出表需要手動添加為本節點的輸出。

  • SQL代碼中的暫存資料表(例如,在工作空間配置中指定t_開頭的表為暫存資料表)不支援自動解析,不會被自動解析為本節點的輸出或依賴的上遊節點。

  • 當同步任務產出一張表時,需手動將該表添加為節點的輸出,格式為projectname.tablename。以便下遊節點對該表進行資料清洗時,可通過自動解析快速設定節點依賴關係。