全部產品
Search
文件中心

:建立工作空間並綁定計算資源

更新時間:Nov 28, 2024

使用新版資料開發前,需要先建立工作空間,參與資料開發(Data Studio)新版公測,然後綁定計算資源和資料目錄,本文介紹這些準備工作的具體操作。

相關概念

計算資源

計算資源是一組用於運行程式碼的機器,它決定了Query啟動並執行位置。如MaxCompute Quota組是一種計算資源,運行Query時,可通過MaxCompute專案來指定提交到那個Quota組上。

資料來源

資料來源用於串連資料庫或者資料存放區,資料來源儲存的是資料連線串資訊。如MySQL資料來源,它決定了如何訪問和串連到資料。

資料目錄

資料目錄是一個組織收集和處理所有資料的清單,包含:資料集、資料庫、表、資料湖等對象。對DataWorks來說,資料目錄記錄了中繼資料資訊。您可以通過綁定計算資源或建立資料來源,來採集更多的中繼資料,產生資料目錄。

計算資源、資料來源、資料目錄之間的關係

三者是獨立的對象,但存在關聯關係,具體關係如下:

  • 建立計算資源時,可關聯建立出資料來源和資料目錄。

  • 建立資料來源時,可關聯建立出資料目錄。

  • 建立資料目錄時,無法關聯建立出資料來源或計算資源。

建立工作空間

  1. 進入DataWorks工作空間列表頁,在頂部切換至目標地區後,單擊建立工作空間

    說明
    • 如果您的計算資源位於阿里雲,建議選擇與計算資源相同的地區,後續通過內網訪問。

    • 如果您的計算資源無法通過內網連通,建議選擇與您物理位置較近的地區,後續通過公網訪問。

  2. 在建立工作空間頁面,配置如下參數資訊:

    • 基本資料image

      參數

      說明

      工作空間名稱

      工作空間的唯一標識,建立後無法修改。

      顯示名稱

      建議基於業務屬性命名,便於標識工作空間用途。

      描述

      用於輔助標識工作空間的主要用途、相關資訊。

    • 進階設定

      image

      參數

      說明

      生產、開發環境隔離

      定義工作空間模式,即工作空間的生產環境和開發環境是否隔離。

      • 隔離生產、開發環境:該方式建立的工作空間為標準模式工作空間。

      • 不隔離生產、開發環境:預設值,該方式建立的工作空間為簡單模式工作空間。

      工作空間模式介紹,詳情請參見必讀:簡單模式和標準模式的區別。您可結合業務需求確認,需建立哪種類型的工作空間。

      空間管理員

      工作空間建立人,預設是工作空間管理員。工作空間管理員權限較大,請謹慎授權。

      參加資料開發(Data Studio)(新版)公測

      是否參加新版資料開發公測,本文後續介紹內容均為新版資料開發內容,請確保已開啟此開關。

      建立同名AI工作空間

      是否建立相同名稱的AI工作空間,預設開啟,您可以在AI工作空間中調度PAI上的演算法任務。

      預設資源群組配置

      工作空間預設使用的DataWorks資源群組,後續可在工作空間配置中修改。資源群組的更多資訊,請參見DataWorks資源群組概述

      阿里雲資源群組

      選擇阿里雲資源管理中建立的資源群組,預設選擇預設資源群組

      若您的公司購買了多種阿里雲資源,則可通過資源管理建立資源群組進行雲資源分組,並為資源群組設定管理員,通過分組獨立管理資源群組內的所有資源。

      重要

      此處選擇的資源群組是在阿里雲帳號下進行資源分組管理的一種機制,協助您解決單個阿里雲帳號內的資源分組和授權管理的複雜性問題。與DataWorks產品所說的任務運行需使用的資源群組為兩個概念,請注意區分。

  3. 參數配置完成後,單擊建立工作空間,在確認視窗中單擊建立

  4. 建立完成後,將自動進入綁定計算資源引導,您也可以單擊關閉,在需要綁定時再進行計算資源的綁定。具體操作,請參見綁定計算資源

綁定計算資源

DataWorks工作空間支援綁定多種計算資源,具體綁定說明如下:

分類

計算資源

綁定說明

離線計算

MaxCompute

DataWorks無法直連到MaxCompute的Quota上,只能綁定到MaxCompute專案上。綁定MaxCompute計算資源後,會同步建立MaxCompute的資料來源、綁定MaxCompute資料目錄。

Serverless Spark

綁定Spark工作空間。Spark計算資源無需綁定資料目錄。

即時查詢

Hologres

DataWorks無法直連到Hologres的計算群組,需要綁定到Hologres的Database上。綁定Hologres計算資源後,會同步建立Hologres資料來源、綁定Hologres資料目錄。

Serverless StarRocks

DataWorks無法直連到StarRocks的隊列,需要綁定到StarRocks的執行個體(Instance)。綁定StarRocks計算資源,會同步建立StarRocks的資料來源、綁定StarRocks的資料目錄。

全託管

全託管Flink

綁定Flink專案空間。Flink計算資源無需綁定資料目錄。

多模態搜尋

OpenSearch

綁定OpenSearch執行個體。綁定OpenSearch計算資源後,會同步建立OpenSearch資料來源。該計算資源無需綁定資料目錄。

建立工作空間時綁定計算資源

完成工作空間建立後,將自動進入綁定計算資源引導,您可以根據您的計算資源類型,選擇建立。

image

綁定計算資源操作步驟如下:

MaxCompute

  1. 在左側選擇MaxCompute,然後單擊綁定MaxCompute計算資源

  2. 配置如下參數:

    參數

    說明

    MaxCompute專案

    選擇需要綁定的MaxCompute專案,您也可以在下拉式功能表中單擊建立,直接建立MaxCompute專案後,再選擇新建立的MaxCompute專案。

    說明

    如果在建立工作空間時選擇了隔離生產、開發環境,則此處需要分別為生產和開發環境選擇MaxCompute專案。

    預設訪問身份

    定義在當前工作空間下,用什麼身份訪問該資料來源。

    • 開發環境:當前僅支援使用執行者身份訪問。

    • 生產環境:支援使用阿里雲主帳號阿里雲RAM子帳號阿里雲RAM角色訪問

    計算資源執行個體名

    用於標識該計算資源,在任務運行時,通過計算資源執行個體名稱來選擇任務啟動並執行計算資源。

    串連配置

    串連MaxCompute計算引擎的資源群組,可在此處測試連通性。如當前工作空間暫無已綁定的資源群組,可不選擇。

    說明

    如無可用的資源群組,您可以建立資源群組並綁定工作空間之後,再到工作空間的詳情中測試與計算資源的連通性。具體請參見新增和使用Serverless資源群組

  3. 單擊確定

  4. 單擊下一步,綁定資料目錄,查看已綁定的MaxCompute資料目錄。

    說明

    綁定MaxCompute計算資源後,會同步建立MaxCompute的資料來源、綁定MaxCompute資料目錄。

Serverless Spark

  1. 在左側選擇Serverless Spark,然後單擊綁定Serverless Spark計算資源

  2. 配置如下參數:

    參數

    說明

    Spark工作空間

    選擇需要綁定的Spark工作空間,您也可以在下拉式功能表中單擊建立,前往EMR Serverless Spark控制台進行建立,然後再回到DataWorks空間中選擇新建立的Spark工作空間。

    說明

    角色授權

    為了DataWorks能夠正常擷取EMR Serverless Spark叢集的資訊,首次選擇Spark工作空間後,請單擊添加服務關聯角色作為工作空間管理員

    重要

    建立服務關聯角色後,請勿在E-MapReduce Serverless Spark工作空間中移除DataWorks服務關聯角色AliyunServiceRoleForDataWorksOnEmrAliyunServiceRoleForDataworksEngine的管理員角色。

    預設引擎版本

    在Data Studio中建立EMR Spark任務時,將會預設使用此處配置的引擎版本、訊息佇列和SQL Compute。如需面向不同任務設定不同的引擎版本、資源隊列或SQL Compute,請在Spark任務編輯視窗的進階設定中進行定義。

    預設訊息佇列

    預設SQL Compute

    預設訪問身份

    定義在當前工作空間下,用什麼身份訪問該資料來源。

    • 開發環境:當前僅支援使用執行者身份訪問。

    • 生產環境:支援使用阿里雲主帳號阿里雲RAM子帳號任務責任人

    計算資源執行個體名

    用於標識該計算資源,在任務運行時,通過計算資源執行個體名稱來選擇任務啟動並執行計算資源。

  3. 單擊確認,然後單擊關閉

    說明

    Spark無需綁定資料目錄。

Hologres

  1. 在左側選擇Hologres,然後單擊綁定Hologres計算資源

  2. 配置如下參數:

    參數

    說明

    Hologres執行個體

    選擇需要綁定的Hologres執行個體,您也可以在下拉式功能表中單擊建立,前往Hologres購買頁建立,然後再回到DataWorks空間中選擇新建立的Hologres執行個體。

    說明
    • 如果在建立DataWorks工作空間時選擇了隔離生產、開發環境,則此處需要分別為生產和開發環境選擇Hologres執行個體。

    • 如何建立Hologres執行個體,請參見購買Hologres

    Hologres計算群組

    當前Hologres執行個體支援配置計算群組,需要為其設定計算群組執行個體,詳情可以參考計算群組管理

    資料庫名稱

    選擇Hologres執行個體中的資料庫,如果未建立資料庫,您也可以在下拉式功能表中單擊建立。Hologres建立資料庫相關參數解釋,請參見建立資料庫

    預設訪問身份

    定義在當前工作空間下,用什麼身份訪問該資料來源。

    • 開發環境:當前僅支援使用執行者身份訪問。

    • 生產環境:支援使用阿里雲主帳號阿里雲RAM子帳號阿里雲RAM角色訪問

    計算資源執行個體名

    用於標識該計算資源,在任務運行時,通過計算資源執行個體名稱來選擇任務啟動並執行計算資源。

    串連配置

    串連Hologres執行個體的資源群組,可在此處測試連通性。如當前工作空間暫無已綁定的資源群組,可不選擇。

    說明

    如無可用的資源群組,您可以建立資源群組並綁定工作空間之後,再到工作空間的詳情中測試與計算資源的連通性。具體請參見新增和使用Serverless資源群組

  3. 單擊確定

  4. 單擊下一步,綁定資料目錄,查看已綁定的Hologres資料目錄。

    說明

    綁定Hologres計算資源後,會同步建立Hologres資料來源、綁定Hologres資料目錄。

Serverless StarRocks

  1. 在左側選擇Serverless StarRocks,然後單擊綁定Serverless StarRocks計算資源

  2. 配置如下參數:

    參數

    說明

    StarRocks執行個體

    選擇需要綁定的StarRocks執行個體,您也可以在下拉式功能表中單擊建立,前往EMR StarRocks控制台建立,然後再回到DataWorks空間中選擇新建立的StarRocks執行個體。

    說明

    資料庫名稱

    選擇StarRocks執行個體中的資料庫。如果未建立資料庫,您需要先在StarRocks執行個體中建立資料庫,詳情請參見建立資料庫

    使用者名稱

    密碼

    建立StarRock執行個體時設定的帳號和密碼,帳號預設為admin。

    計算資源執行個體名

    用於標識該計算資源,在任務運行時,通過計算資源執行個體名稱來選擇任務啟動並執行計算資源。

    串連配置

    串連StarRocks執行個體的資源群組,可在此處測試連通性。如當前工作空間暫無已綁定的資源群組,可不選擇。

    說明

    如無可用的資源群組,您可以建立資源群組並綁定工作空間之後,再到工作空間的詳情中測試與計算資源的連通性。具體請參見新增和使用Serverless資源群組

  3. 單擊確定

  4. 單擊下一步,綁定資料目錄,查看已綁定的StarRock資料目錄。

    說明

    綁定StarRock計算資源後,會同步建立StarRock資料來源、綁定StarRock資料目錄。

全託管Flink

  1. 在左側選擇全託管Flink,然後單擊綁定全託管Flink計算資源

  2. 配置如下參數:

    參數

    說明

    Flink工作空間

    選擇需要綁定的Flink工作空間,您也可以在下拉式功能表中單擊建立,前往全託管Flink購買頁建立,然後再回到DataWorks空間中選擇新建立的Flink工作空間。

    說明

    Flink專案空間

    選擇Flink工作空間內的專案空間,工作空間建立完成會建立預設專案空間,您也可以在Flink控制台手動添加其他專案空間後,再在此處選擇。

    預設部署目標

    選擇預設部署目標,在Data Studio中建立Flink任務時,將會預設使用此處配置的部署目標。

    計算資源執行個體名

    用於標識該計算資源,在任務運行時,通過計算資源執行個體名稱來選擇任務啟動並執行計算資源。

  3. 單擊確定,然後單擊關閉

    說明

    Flink無需綁定資料目錄。

OpenSearch

  1. 在左側選擇OpenSearch,然後單擊綁定OpenSearch計算資源

  2. 配置如下參數:

    參數

    說明

    OpenSearch執行個體

    選擇需要綁定的OpenSearch執行個體,您也可以在下拉式功能表中單擊建立,前往OpenSearch購買頁建立,然後再回到DataWorks空間中選擇新建立的OpenSearch執行個體。

    說明

    使用者名稱

    密碼

    填寫建立OpenSearch執行個體時設定的使用者名稱和密碼。

    計算資源執行個體名

    用於標識該計算資源,在任務運行時,通過計算資源執行個體名稱來選擇任務啟動並執行計算資源。

  3. 單擊確定,然後單擊關閉

    說明

    OpenSearch無需綁定資料目錄。

建立工作空間後綁定計算資源

DataWorks支援在工作空間詳情頁和管理中心中綁定計算資源和資料目錄,您可以按需選擇。

工作空間詳情頁綁定

您可以在工作空間建立成功後,前往工作空間詳情頁,綁定計算資源和資料目錄。

  1. 進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到已建立的工作空間,單擊操作列的詳情,進入工作空間詳情頁。

  2. 切換至計算資源頁簽,單擊綁定計算資源

  3. 選擇需要綁定的計算資源類型,然後配置相關參數。

    說明

    此處綁定計算資源和綁定資料目錄相關參數與建立工作空間時綁定計算資源的參數相同。

管理中心綁定

您可以在工作空間建立成功後,前往管理中心綁定計算資源和資料目錄。

  1. 進入DataWorks管理中心頁,頂部切換至目標地區,然後選擇已建立的工作空間,單擊進入管理中心

  2. 在左側導覽列單擊計算資源

  3. 在計算資源頁面,單擊綁定計算資源,選擇需要綁定的計算資源類型,然後配置相關參數。

    說明

    此處綁定計算資源和綁定資料目錄相關參數與建立工作空間時綁定計算資源的參數相同。

綁定資料目錄

綁定計算資源中部分計算資源會同步綁定對應資料目錄外,您也可以單獨綁定DLF Catalog、MaxCompute、Hologres、StarRocks類型的資料目錄,用於在新版資料開發中可視化查看和管理。詳情請參見資料目錄

查看已綁定的計算資源和資料目錄

查看計算資源

  • 工作空間詳情頁查看

    1. 進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到已建立的工作空間,單擊操作列的詳情,進入工作空間詳情頁。

    2. 切換至計算資源頁簽,查看已綁定的計算資源。

      image

  • 管理中心查看

    1. 進入DataWorks管理中心頁,頂部切換至目標地區,然後選擇已建立的工作空間,單擊進入管理中心

    2. 在左側導覽列單擊計算資源,查看已綁定的計算資源。

      image

查看資料目錄

說明

由綁定計算資源時自動繫結資料目錄,不支援解除綁定,解除綁定計算資源時會同時解除綁定。

  • 工作空間查看

    1. 進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到已建立的工作空間,單擊操作列的詳情,進入工作空間詳情頁。

    2. 切換至資料目錄頁簽,查看已繫結資料目錄。

      image

  • 管理中心查看

    1. 進入DataWorks管理中心頁,頂部切換至目標地區,然後選擇已建立的工作空間,單擊進入管理中心

    2. 在左側導覽列單擊資料目錄,查看已繫結資料目錄。

      image

後續步驟

您可以前往新版資料開發中查看和管理資料目錄中的詳細表資訊,具體操作,請參見資料目錄