全部產品
Search
文件中心

DataWorks:資料開發功能索引

更新時間:Nov 20, 2024

本文為您介紹DataWorks資料開發(DataStudio)介面的整體布局,以及進行開發操作的主介面(商務程序和節點)中各組件、按鈕的功能作用,方便您快速瞭解及使用資料開發模組。

進入資料開發

登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與治理 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

進入資料開發後,您可以建立商務程序及不同類型的節點進行相關開發操作,詳情請參見建立商務程序建立節點

不同開發操作的介面功能存在差異,您可根據本文快速瞭解對應操作的介面功能。

DataStudio介面總覽

DataStudio介面總體介紹如下圖所示。介面說明

地區

描述

1

2

在該地區單擊切換模組表徵圖,即可展示對應功能按鈕的名稱。

  • 資料開發:用於周期調度任務的開發,支援基於各類引擎建立不同節點進行資料開發,該模組開發的任務可發布到生產環境進行營運。

    說明

    您需要在資料開發中綁定相應類型的資料來源後,才可以基於該引擎進行資料開發。

  • 手動商務程序:用於手動觸發式任務的開發,該模組開發的任務可發布生產進行營運。

  • 運行歷史:用於查看在DataStudio介面測試回合的記錄,當前支援保留3天的記錄。

  • 臨時查詢:用於進行單次簡單的測試查詢,無法發布生產營運。

  • 公用表:用於查看當前登入的阿里雲帳號下所有的生產表。

  • 表管理:用於使用可視化方式對目標表執行相關操作。支援的表操作與表對應的引擎可執行檔操作一致。

  • 使用內建函數:MaxCompute系統內建函數的相關介紹。

  • 資源回收筒:用於管理在資料開發手動商務程序中刪除的節點、資源及函數。

  • 組件管理:組件是一種帶有多個輸入參數和輸出參數的SQL代碼過程模板,SQL代碼過程的處理通常會引入一個或多個來源資料表,通過過濾、串連和彙總等操作,加工出新業務需要的目標表。

  • 操作歷史:可以通過操作類型、操作人、操作時間進行篩選,查看當前工作空間中的歷史操作記錄。

  • 操作檢查:可以通過操作類型、檢查狀態進行篩選,查看相應操作的詳細資料。

  • MaxCompute:單擊MaxCompute即可顯示下列子模組。

    • MaxCompute資源管理:用於管理MaxCompute引擎現有的資源。您可以通過該功能查看資源的操作記錄。同時,支援將不在DataWorks中上傳的資源通過此功能載入至DataWorks的資料開發進行管理。

    • MaxCompute函數管理:用於管理MaxCompute引擎現有的函數。您可以通過該功能查看函數的操作記錄。同時,支援將不在DataWorks上註冊的函數通過此功能載入至DataWorks的資料開發進行管理。

說明

如果您當前的介面左側導覽列模組展示不全,則可單擊地區4的設定表徵圖,在個人設定介面添加相應模組,詳情請參見個人設定

3

DataStudio中進入其他模組的快捷入口:

  • 跨專案複製:您可以利用跨專案複製功能實現計算、同步等類型的任務在工作空間之間的複製遷移。

  • 營運中心:用於快速跳轉至營運中心對任務進行營運操作。營運中心分開發營運中心和生產營運中心,生產營運中心承擔生產調度任務的整體營運管控。

DataWorks各模組的通用功能:

說明

本文以DataStudio介面為例,為您講解如下通用功能,其他模組對應介面,該類功能相同。

  • 訊息中心(訊息中心:用於發送產品側功能變更的訊息通知,方便您及時擷取產品最新資訊。

  • 互動學習(互動學習:用於提供相應的產品功能說明,當您有相關需要時,可使用該功能快速查看協助內容。

  • 工作空間管理(工作空間管理:用於快速進入工作空間配置介面,您可以在該介面查看工作空間配置的基本資料、調度資訊、白名單詳情及資料來源和開源叢集情況。詳情請參見建立並管理工作空間

  • 語言切換:單擊當前顯示的語言,即可進行語言(中英文)的切換。

  • 帳號資訊:單擊當前登入帳號即可查看該帳號的個人資訊、工作台任務概況。

4

系統配置,包括如下內容:

  • 個人設定:用於組態管理模組、編輯器功能、介面風格等。

  • 配置代碼模板:用於管理語句代碼的模板,使其呈現所需樣式。

  • 調度設定:用於配置啟用調度設定頁面的調度周期功能,啟用後周期任務才能自動調度運行。

  • 安全設定與其他

    • 資料安全:用於控制在工作空間中查詢頁面內容時,是否對敏感資訊進行脫敏。

    • 代碼強制評審:用於開啟代碼強制評審,配置代碼審核人員,把控開發工作單位的代碼品質。

5

資料開發編輯器常用的快速鍵。更多快速鍵,詳情請參見編輯器快速鍵列表

資料開發(商務程序)介面功能

進入DataStudio後,預設進入資料開發模組,您需要在該模組先建立商務程序,組織後續業務開發。建立商務程序詳情請參見建立商務程序。商務程序的功能介面如下圖所示。商務程序

地區

功能描述

1

  • 解決方案:用於將一類商務程序組合為一個解決方案,商務程序可以被多個解決方案複用。解決方案支援使用列表及圖形化的方式呈現。

  • 商務程序:用於實際業務開發,商務程序為業務的抽象實體,協助您使用業務視角來組織資料代碼開發。

單擊全部表徵圖,即可呈現當前工作空間下的所有解決方案或商務程序。

2

  • 重新整理(重新整理:用於手動重新整理分類樹,當您對商務程序或解決方案進行變更操作,可手動重新整理對應分類樹。

  • 定位(定位:用於快速定位當前開啟的檔案。

  • 程式碼搜尋程式碼搜尋):用於通過關鍵字搜尋程式碼片段,快速定位元據開發、手動商務程序、臨時查詢、資源回收筒中包含該程式碼片段的所有節點及相關程式碼片段的詳細內容。當目標表資料產生變更,您需要尋找操作源(即導致目標表資料變更的任務)時,可以使用該功能。

  • 大量操作大量操作):用於快速對錶、資源、函數進行批量修改(包括修改責任人、引擎執行個體、調度資源群組、調度重跑屬性、調度類型、調度周期、調度逾時時間等操作)。

  • 匯入匯入):用於快速將本機資料上傳至目標表中。目前僅支援上傳資料至MaxCompute表中。

  • 快捷建立快捷建立):用於快速建立商務程序,以及各類型的節點、表、資源、函數等。

  • 解決方案及商務程序分類樹展示

    • 全部:分類樹基於解決方案及商務程序展示當前工作空間下所有已建立的檔案(節點、資源、函數等)。

    • 我負責的:分類樹基於解決方案及商務程序展示當前登入帳號為負責人的檔案(節點、資源、函數等)。

    • 我收藏的:分類樹基於解決方案及商務程序展示當前登入帳號收藏的檔案(節點、資源、函數等)。

  • 檔案尋找

    • 精確尋找:您可以輸入檔案名稱建立人,單擊尋找表徵圖尋找指定節點。

    • 按節點類型尋找:您可以單擊篩選表徵圖,通過篩選節點類型,尋找指定類型的所有節點。指定節點類型後,則分類樹將僅展示當前工作空間中該類型的節點。

      說明

      您還可以根據業務需求選擇是否需要隱藏引擎執行個體隱藏節點類型檔案夾,隱藏後,分類樹將不會呈現相應內容。

      • 隱藏引擎執行個體隱藏節點類型檔案夾僅適用於新版商務程序。

      • 通常,目標引擎下僅包含一個引擎執行個體時,建議您將其隱藏。

      • 如果您不需要使用資料開發、表、資源、函數等節點類型檔案夾時,則可以將其隱藏。

說明

如果您當前的工作空間為建立的工作空間,請先建立商務程序,並在商務程序內建立節點進行資料開發。建立商務程序詳情請參見建立商務程序

3

使用分類樹的方式對各商務程序中的節點、表、資源、函數進行管理:

  • 商務程序:業務開發的單位,用於進行具體的業務開發工作。

  • 節點:代碼開發的最小單位,支援對應引擎、演算法、Data Integration、資料庫、通用節點進行代碼開發。

  • :使用可視化方式動作表。

  • 資源:使用可視化方式上傳資源。

    說明

    當前僅支援MaxCompute、E-MapReduce、CDH引擎使用可視化方式上傳資源。

  • 函數:使用可視化方式註冊函數。

    說明

    當前僅支援MaxCompute、E-MapReduce、CDH引擎使用可視化方式註冊函數。

您可以通過節點名稱前的表徵圖查看該節點的狀態:

  • 未提交表徵圖:表示當前的節點版本未提交。單擊該表徵圖即可快速提交節點。

  • 未發布表徵圖:表示節點未發布。單擊該表徵圖即可進入發布中心發布節點。

同時,節點名稱後為您展示了最近一次編輯該節點的時間。

雙擊商務程序名稱,即可進入商務程序編輯頁面(地區5~8),您可以在該頁面進行資料開發。

4

資源群組編排資源群組編排):用於在資料開發階段,批量修改指定商務程序下目標節點使用的調度資源群組。當您的工作空間中有多個調度資源群組時,可以根據實際業務需求,使用該功能快速為目標節點重新分配資源群組,促進資源的合理使用。修改後您需要通過批量發布將該操作發布至生產營運中心,使生產環境節點使用的調度資源群組修改操作生效。

5

  • 常用節點:為您展示當前工作空間中常用的類型節點,方便您快速篩選建立目標類型節點。

  • 使用節點群組:用於跨商務程序引用一批節點,您可以將商務程序內複用率較高的節點群組合為一個節點群組,以便在其他商務程序中快速複用該節點群組(即快速複製這批節點)。

  • 快速建立節點:您可以將Data Integration、MaxCompute、E-MapReduce等目錄下的節點直接拖拽至右側商務程序編輯面板,建立對應類型的節點。

6

商務程序可視化操作面板詳情1:

  • 切換布局(切換布局:您可以切換當前商務程序編輯面板的布局為縱向橫向網格

  • 框選(框選用於將選中的節點群組合為節點群組,批量執行節點相關的操作。

  • 重新整理(重新整理重新整理當前商務程序。當您對商務程序執行變更操作時,可手動重新整理,擷取最新介面。

  • 格式化(格式化:將商務程序中各節點的位置格式化為水平對齊。

  • 適配視窗(適配視窗:根據當前介面的視窗大小,自動適配商務程序的布局。

  • 置中(置中置中當前商務程序的各節點。

  • 1:1(1:1用於將當前商務程序的各節點與編輯面板按照1:1比例布局。

  • 放大(放大放大當前商務程序的各節點。

  • 縮小(縮小:縮小當前商務程序的各節點。

  • 尋找(尋找輸入關鍵字,搜尋包含關鍵字的節點。

    說明

    尋找方式為模糊比對,即輸入關鍵字後,DataWorks會展示出當前商務程序中包含關鍵字的所有節點。

  • 全屏(全屏全螢幕顯示當前商務程序。

  • 隱藏引擎資訊(隱藏引擎資訊用於顯示或隱藏各節點的引擎資訊。

7

商務程序可視化操作面板詳情2:

  • 流程參數:用於批量替換代碼中的統一變數,目前僅支援ODPS SQL類型節點使用流程參數。

  • 操作歷史:用於查看商務程序面板中節點的相關操作記錄。

  • 查看版本:商務程序每次提交都會產生一個新的版本,您可以在此處查看商務程序的各個版本記錄及版本詳情。

8

商務程序可視化操作面板詳情3:

  • 提交(提交:批量提交商務程序內更新的節點至任務發布介面。

  • 運行(運行:運行當前商務程序下所有節點。

  • 停止運行(停止運行:運行中的商務程序可以選擇批量終止運行商務程序中的節點。

  • 發布發布):快速在任務發布介面定位該商務程序下待發布的節點。節點的發佈動作。

  • 前往營運前往營運):快速進入生產營運中心,查看節點的營運詳情。

  • 搜尋:當前如果開啟的頁簽較多,您可以單擊搜尋表徵圖,使用下拉式清單查看所有頁簽。

  • 關閉頁簽:單擊關閉頁簽表徵圖,關閉指定頁簽。

資料開發(商務程序)捷徑功能表

將滑鼠移至上方至目標商務程序,單擊滑鼠右鍵,即可顯示商務程序的捷徑功能表,相關功能如下圖所示。商務程序快捷操作

功能

描述

建立節點

用於快速建立各類型節點。

建立節點時,系統會顯示最近一次使用的節點類型,單擊該類型,即可自動輸入最近一次使用的引擎執行個體節點類型。如果您需要建立近期使用過的類型節點,則可使用該方式快速建立。建立節點

建立表

用於快速建立各類型表。

建立資源

用於快速建立各類引擎資源。

說明

當前僅支援建立MaxCompute、CDH、EMR引擎資源。

建立函數

用於快速建立各類引擎函數。

說明

當前僅支援建立MaxCompute、CDH、EMR引擎函數。

看板

用於進入目標商務程序的編輯面板。

修改商務程序

用於修改商務程序的名稱、負責人、描述等資訊。

刪除商務程序

刪除當前商務程序。

說明

此操作將大量刪除該商務程序下所有檔案,請您謹慎操作。

刪除商務程序時,針對無法刪除的檔案,您可以選擇如下處理策略:

  • 終止,不再繼續刪除檔案:預設選擇該選項。執行刪除操作時,當遇到無法刪除的檔案,刪除操作會被中斷。已刪除的檔案將成功刪除。

  • 跳過,繼續刪除其他檔案:執行刪除操作時,當遇到無法刪除的檔案,系統會跳過該檔案,繼續刪除其他檔案。

刪除商務程序

大量操作

用於批量修改商務程序中節點、資源、函數的責任人、引擎執行個體、調度屬性等,並支援批量提交並發布,將變更操作發布至生產環境生效。

資料開發(節點)介面功能

商務程序建立完成後,您可以根據開發需求建立不同類型的資料開發節點,詳情請參見建立開發節點。不同類型的節點功能類似,本文以ODPS SQL節點為例,為您介紹資料開發節點編輯介面的功能。節點介面功能

地區

功能描述

1

節點開發相關功能按鈕:

  • 儲存(儲存:儲存當前節點的代碼及相關配置。

  • 另存新檔臨時查詢檔案(另存新檔臨時查詢檔案:將當前代碼另存新檔一個臨時檔案,您可以進入臨時查詢頁面查看。詳情請參見建立臨時查詢

  • 提交(提交:提交當前節點。

  • 提交並允許他人編輯該檔案(提交並允許他人編輯該檔案:提交當前節點,並允許其他使用者編輯該節點的代碼。

  • 偷鎖編輯(偷鎖編輯:用於非節點責任人編輯節點。

  • 運行(運行:運行當前節點的代碼。運行SQL代碼時,您只需要給SQL語句中的變數賦一次值,即使節點的代碼發生變更,也會保留初始的賦值。

    說明

    如果您建立的節點沒有選擇調度資源群組,則運行任務時,系統會先提示您選擇可用的調度資源群組。

  • 進階運行(帶參數運行)(進階運行(帶參數運行):使用配置的參數運行當前節點代碼。運行代碼時每次都需要手動給SQL語句中的變數進行賦值,運行的初始賦值會傳遞給進階運行,進階啟動並執行自訂參數賦值後,會重新整理當前啟動並執行自訂參數。

    說明

    如果您建立的節點沒有選擇調度資源群組,則運行任務時,系統會先提示您選擇可用的調度資源群組。

  • 停止運行(停止運行:停止正在啟動並執行節點。

  • 重新載入(重新載入:重新整理節點頁面,返回至上次儲存的頁面。

  • 在開發環境執行煙霧測試 (Smoke Test)(在開發環境執行煙霧測試 (Smoke Test):在開發環境測試當前節點的代碼。開發環境煙霧測試 (Smoke Test)可以類比調度參數在生產調度中參數的替換情況,選擇業務日期後,根據您填寫的調度參數替換該業務日期下的值。您可以通過該功能測試調度參數的替換情況。

    說明

    開發環境煙霧測試 (Smoke Test)每次變更調度屬性後,其中的參數配置需要重新儲存並提交,然後選擇開發環境煙霧測試 (Smoke Test),否則替換的調度屬性仍會是原來的值。

  • 查看開發環境的煙霧測試 (Smoke Test)日誌(查看開發環境的煙霧測試 (Smoke Test)日誌:查看運行在開發環境的節點作業記錄。

  • 前往開發環境的調度系統(前往開發環境的調度系統:跳轉至開發環境的營運中心進行相關營運操作。詳情請參見查看周期執行個體

  • 格式化(格式化:對當前節點代碼排序,常用於單行代碼過長的情況。

  • 分享(分享:分享當前節點給其他使用者。

2

調度配置

  • 基礎屬性:查看調度節點的名稱、ID、類型,並配置責任人、描述等基本資料。

  • 參數:任務調度時需要使用的參數,可使用調度參數實現參數的動態取值。

  • 時間屬性:用於定義節點發布生產調度系統後在調度環境下的相關屬性。您可以通過調度配置的時間屬性,配置節點組建循環執行個體的方式,執行個體調度周期與執行時間,是否支援重跑,任務執行超過多長時間自動結束等。

  • 資源屬性:配置節點調度時需要使用的資源群組。

  • 調度依賴:用於配置上下遊節點的依賴關係,詳情請參見配置同周期調度依賴配置依賴上一周期(跨周期依賴)

  • 節點上下文:用於上下遊節點參數傳遞,多用於使用賦值功能通過節點上下文參數,將上遊節點的查詢結果傳遞至下遊節點。

血緣關係:展示當前節點和其它節點的依賴關係和內部血緣關係。

查看版本節點每次提交、發布都將產生新的版本。您可以在版本面板查看節點歷史版本、提交人、提交時間、變更類型、狀態、備忘等資訊。版本的狀態說明如下:

  • 已提交:節點已提交至開發環境,在任務發布介面處於待發布狀態。

  • 發行:節點已經發布至生產環境,您可以在生產營運中心周期任務查看。詳情請參見查看並管理周期任務

  • 中間版本:節點提交一次後未發布,如果再提交一次,則上一次提交的版本將成為中間版本。

  • 發布已取消:節點提交後在任務發布介面將該條待發布記錄解除發佈,該版本的狀態則會變為發布已取消。

結構:代碼結構通過SQL運算元進行可視化展示。

3

SQL編輯器:您可以根據業務需求在編輯器中編寫任務的SQL語句。

  • 單擊跳轉至首行表徵圖,即可跳轉至SQL語句的首行位置。

  • 單擊全屏展示表徵圖,即可全屏展示SQL編輯器。

  • 單擊快捷運行表徵圖,快速運行目標程式碼片段,測試程式碼片段編寫是否正確。詳情請參見調試程式碼片段:快捷運行

    說明

    按一下滑鼠程式碼,才會顯示該表徵圖。

4

發布營運操作

  • 發布:進入任務發佈頁面,您可以在該頁面查看節點的發布詳情,或進行節點發布後的生產營運操作。

  • 營運:進入生產營運中心,執行節點相關的營運操作。

資料開發(節點)捷徑功能表

將滑鼠移至上方至目標開發節點,單擊滑鼠右鍵,即可顯示節點的捷徑功能表,相關功能如下圖所示。節點編輯快捷操作

功能

描述

重新命名

修改目標節點的名稱。

收藏

收藏目標節點後,單擊資料開發分類樹右上方的我收藏的,即可展示已收藏的節點。對於已收藏的節點,後續無需收藏時,則可在節點的捷徑功能表單擊移除最愛

移動

移動目標節點至其他商務程序目錄。

複製

用於複製出一個具有相同節點類型、責任人及資源屬性的節點。

說明

同一商務程序目錄下,原節點和複製節點的名稱不能相同。

查看歷史版本

用於在版本面板查看節點歷史版本、提交人、提交時間、變更類型、狀態、備忘等資訊。

在營運中心查看節點

進入營運中心查看節點的運行資訊。標準環境的工作空間,若節點提交至開發環境及生產環境,則您可選擇進入開發環境營運中心或生產環境營運中心,分別查看節點的運行情況。

發起程式碼檢閱

提交當前節點的代碼至評審人進行評審。開發人員提交的節點必須通過評審人對代碼的審核才發行就緒。

刪除

刪除該節點及其上下遊依賴節點對該節點的依賴。發行至生產環境的節點被刪除後,您需要進入任務發布介面執行發佈動作,發布後該節點才會在生產環境下線,詳情請參見下線任務