全部產品
Search
文件中心

DataWorks:建立EMR表

更新時間:Aug 28, 2024

本文為您介紹如何建立EMR(E-MapReduce)表。

背景資訊

建立EMR資料來源後,平台將自動在資料地圖建立EMR中繼資料採集器來採集該叢集中繼資料,若您建立EMR資料來源後仍無法在此介面選擇到EMR庫,請前往資料地圖找到該叢集的中繼資料採集器重新採集,詳情請參見採集E-MapReduce中繼資料

操作步驟

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 滑鼠移至上方至建立表徵圖,單擊建立表 > EMR >

    您也可以找到相應的商務程序,按右鍵EMR,單擊建立表

  3. 建立表對話方塊中,配置表所在的引擎執行個體、路徑等資訊。

    建立emr表

  4. 單擊建立,進入表編輯頁面。

  5. 基本屬性地區,配置各項參數。

    基本屬性

    名稱

    描述

    一級主題

    建立表所處的一級目標檔案夾名稱。

    說明

    一級、二級主題僅僅是DataWorks上檔案夾的擺放形式,目的是為了您能更好地管理您的表。

    二級主題

    建立表所處的二級目標檔案夾名稱。

    建立主題

    單擊建立主題,進入主旨管理員頁面,您可以在該頁面建立一級主題、二級主題。

    重新整理

    建立主題後,單擊重新整理

    描述

    對建立表進行簡單描述。

  6. 物理模型設計地區,配置各項參數。

    物理模型

    參數

    描述

    層級

    從下拉式清單中選擇相應的層級和物理分類。如果您需要建立層級和物理分類,請聯絡工作空間管理員,單擊建立層級,在層級管理頁面進行添加。建立成功後,單擊重新整理

    物理分類

    分區類型

    包括分區表非分區表

    表類型

    包括內部表外部表格

    選擇儲存格式

    根據需要選擇表中檔案的儲存格式。

  7. 表結構設計地區,配置各項參數。

    表結構

    參數

    描述

    添加欄位

    單擊添加欄位,配置欄位資訊後,單擊儲存,即可新增一個欄位。

    上移

    調整未建立的表的欄位順序。如果為已經建立的表調整欄位順序,會要求刪除當前已經建立的表,再建立一張同名表。生產環境中禁止該操作。

    下移

    欄位英文名

    欄位的英文名稱,由字母、數字和底線(_)組成。

    欄位類型

    支援TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、VARCHAR、CHAR、STRING、BINARY、DATETIME、DATE、TIMESTAMP、BOOLEAN、ARRAY、MAP和STRUCT。

    長度/設定

    當選擇的欄位類型需要設定長度時,請在文字框中進行配置。

    描述

    對欄位進行描述。

    主鍵

    勾選表示該欄位是主鍵。該主鍵為業務概念,您可以在業務上保證記錄的唯一性,DataWorks對主鍵無約束。

    編輯

    單擊已儲存欄位後的編輯,修改當前欄位的配置,並單擊儲存

    刪除

    刪除已經建立的欄位。

    說明

    已經建立的表,刪除欄位重新提交時,會要求刪除當前表,再去建一張同名表,在生產環境中禁止該操作。

    添加分區

    如果您在物理模型設計地區,設定分區類型分區表,則需要配置分區。

    您可以為當前表建立一個分區。如果為已經建立的表添加分區,會要求刪除當前已經建立的表,再建立一張同名表。生產環境中禁止該操作。

  8. 單擊工具列中的提交表徵圖,提交EMR表至生產環境。

    如果您使用的是標準模式的工作空間,請先提交表至開發環境,再提交表至生產環境。

    說明

    提交時,您需要選擇提交表時所用的調度資源群組,當使用Serverless資源群組提交表時,DataWorks平台將下發對應建立表的任務到引擎側執行,並列印執行過程的執行日誌,如果資源提交過程中出現問題,您可以先通過日誌自助排查。如果您目前無可用的Serverless資源群組,請購買並配置Serverless資源群組便於使用,操作詳情請參見新增和使用Serverless資源群組