本文為您介紹如何建立EMR(E-MapReduce)表。
背景資訊
建立EMR資料來源後,平台將自動在資料地圖建立EMR中繼資料採集器來採集該叢集中繼資料,若您建立EMR資料來源後仍無法在此介面選擇到EMR庫,請前往資料地圖找到該叢集的中繼資料採集器重新採集,詳情請參見採集E-MapReduce中繼資料。
操作步驟
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的 ,在下拉框中選擇對應工作空間後單擊進入資料開發。
滑鼠移至上方至表徵圖,單擊 。
您也可以找到相應的商務程序,按右鍵EMR,單擊建立表。
在建立表對話方塊中,配置表所在的引擎執行個體、路徑等資訊。
單擊建立,進入表編輯頁面。
在基本屬性地區,配置各項參數。
名稱
描述
一級主題
建立表所處的一級目標檔案夾名稱。
說明一級、二級主題僅僅是DataWorks上檔案夾的擺放形式,目的是為了您能更好地管理您的表。
二級主題
建立表所處的二級目標檔案夾名稱。
建立主題
單擊建立主題,進入主旨管理員頁面,您可以在該頁面建立一級主題、二級主題。
重新整理
建立主題後,單擊重新整理。
描述
對建立表進行簡單描述。
在物理模型設計地區,配置各項參數。
參數
描述
層級
從下拉式清單中選擇相應的層級和物理分類。如果您需要建立層級和物理分類,請聯絡工作空間管理員,單擊建立層級,在層級管理頁面進行添加。建立成功後,單擊重新整理。
物理分類
分區類型
包括分區表和非分區表。
表類型
包括內部表和外部表格。
選擇儲存格式
根據需要選擇表中檔案的儲存格式。
在表結構設計地區,配置各項參數。
參數
描述
添加欄位
單擊添加欄位,配置欄位資訊後,單擊儲存,即可新增一個欄位。
上移
調整未建立的表的欄位順序。如果為已經建立的表調整欄位順序,會要求刪除當前已經建立的表,再建立一張同名表。生產環境中禁止該操作。
下移
欄位英文名
欄位的英文名稱,由字母、數字和底線(_)組成。
欄位類型
支援TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、VARCHAR、CHAR、STRING、BINARY、DATETIME、DATE、TIMESTAMP、BOOLEAN、ARRAY、MAP和STRUCT。
長度/設定
當選擇的欄位類型需要設定長度時,請在文字框中進行配置。
描述
對欄位進行描述。
主鍵
勾選表示該欄位是主鍵。該主鍵為業務概念,您可以在業務上保證記錄的唯一性,DataWorks對主鍵無約束。
編輯
單擊已儲存欄位後的編輯,修改當前欄位的配置,並單擊儲存。
刪除
刪除已經建立的欄位。
說明已經建立的表,刪除欄位重新提交時,會要求刪除當前表,再去建一張同名表,在生產環境中禁止該操作。
添加分區
如果您在物理模型設計地區,設定分區類型為分區表,則需要配置分區。
您可以為當前表建立一個分區。如果為已經建立的表添加分區,會要求刪除當前已經建立的表,再建立一張同名表。生產環境中禁止該操作。
單擊工具列中的表徵圖,提交EMR表至生產環境。
如果您使用的是標準模式的工作空間,請先提交表至開發環境,再提交表至生產環境。
說明提交時,您需要選擇提交表時所用的調度資源群組,當使用Serverless資源群組提交表時,DataWorks平台將下發對應建立表的任務到引擎側執行,並列印執行過程的執行日誌,如果資源提交過程中出現問題,您可以先通過日誌自助排查。如果您目前無可用的Serverless資源群組,請購買並配置Serverless資源群組便於使用,操作詳情請參見新增和使用Serverless資源群組。