全部產品
Search
文件中心

DataWorks:建表並上傳資料

更新時間:Jun 19, 2024

本文以建立表bank_data和result_table為例,為您介紹如何通過DataWorks建立表並上傳資料。

前提條件

已在工作空間添加MaxCompute資料來源,並在資料開發中綁定對應MaxCompute資料來源後,當前頁面才會顯示MaxCompute目錄。

  • 工作空間添加MaxCompute資料來源,詳情請參見建立MaxCompute資料來源

  • 資料開發中綁定MaxCompute資料來源,請在資料開發控制台左側導覽列單擊資料來源,根據提示進行操作。

背景資訊

表bank_data用於儲存業務資料,表result_table用於儲存資料分析後產生的結果。

建立表bank_data

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料建模與開發 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 資料開發頁面,滑鼠移至上方至建立表徵圖,單擊建立表 > MaxCompute > 資料開發建立MaxCompute表

    您也可以開啟相應的商務程序,按右鍵MaxCompute,選擇建立表

  3. 建立表對話方塊中,選擇相應的路徑,輸入名稱bank_data,單擊建立

  4. 在表的編輯頁面,單擊DDL

  5. DDL對話方塊中,輸入如下建表語句,單擊產生表結構

    CREATE TABLE IF NOT EXISTS bank_data
    (
     age             BIGINT COMMENT '年齡',
     job             STRING COMMENT '工作類型',
     marital         STRING COMMENT '婚否',
     education       STRING COMMENT '教育程度',
     default         STRING COMMENT '是否有信用卡',
     housing         STRING COMMENT '房貸',
     loan            STRING COMMENT '貸款',
     contact         STRING COMMENT '聯絡途徑',
     month           STRING COMMENT '月份',
     day_of_week     STRING COMMENT '星期幾',
     duration        STRING COMMENT '期間',
     campaign        BIGINT COMMENT '本次活動聯絡的次數',
     pdays           DOUBLE COMMENT '與上一次聯絡的時間間隔',
     previous        DOUBLE COMMENT '之前與客戶聯絡的次數',
     poutcome        STRING COMMENT '之前行銷活動的結果',
     emp_var_rate    DOUBLE COMMENT '就業變化速率',
     cons_price_idx  DOUBLE COMMENT '消費者物價指數',
     cons_conf_idx   DOUBLE COMMENT '消費者信心指數',
     euribor3m       DOUBLE COMMENT '歐元存款利率',
     nr_employed     DOUBLE COMMENT '職工人數',
     y               BIGINT COMMENT '是否有定期存款'
    );

    建立表的更多SQL文法請參見建立表

  6. 確認操作對話方塊中,單擊確認

  7. 產生表結構後,在基本屬性模組輸入表的中文名,並分別單擊提交到開發環境提交到生產環境

    說明

    本樣本以標準模式的工作空間為例。如果您使用的是簡單模式的工作空間,僅單擊提交到生產環境即可。

  8. 在左側導覽列,單擊表管理

  9. 表管理頁面,雙擊開啟相應的表名,查看錶資訊。

建立表result_table

  1. 資料開發頁面,滑鼠移至上方至建立表徵圖,單擊建立表 > MaxCompute >

    您也可以開啟相應的商務程序,按右鍵MaxCompute,選擇建立表。

  2. 建立表對話方塊中,選擇相應的路徑,輸入表名result_table,單擊建立

  3. DDL模式對話方塊中,輸入如下建表語句,單擊產生表結構

    CREATE TABLE IF NOT EXISTS result_table
    (  
     education   STRING COMMENT '教育程度',
     num         BIGINT COMMENT '人數'
    );
  4. 確認操作對話方塊中,單擊確認

  5. 產生表結構後,在基本屬性地區輸入表的中文名,並分別單擊提交到開發環境提交到生產環境

  6. 在左側導覽列,單擊表管理

  7. 表管理頁面,雙擊開啟相應的表名,查看錶資訊。

本機資料上傳至bank_data

DataWorks支援以下操作:

  • 上傳本地的文字檔至工作空間的表中。

  • 通過Data Integration模組,從多個不同的資料來源匯入業務資料至工作空間。

說明

本地文字檔上傳的限制如下:

  • 檔案類型:僅支援.txt.csv.log類型的檔案。

  • 檔案大小:不能超過30MB。

    如果您需要上傳超過30MB的檔案,則可以使用如下方式:

    • 將資料檔案上傳至OSS,使用MaxCompute外部表格映射的方式擷取OSS中相應的檔案資料。上傳資料至OSS,詳情請參見上傳檔案,MaxCompute外部表格映射,詳情請參見外部表格

    • 將資料檔案上傳至OSS,使用Data Integration功能將OSS的資料同步至MaxCompute表。上傳資料至OSS,詳情請參見上傳檔案,同步OSS資料至MaxCompute表,詳情請參見通過嚮導模式配置離線同步任務

    • 使用資料分析 > 資料上傳功能。

  • 操作對象:支援分區表匯入和非分區表匯入,但不支援分區值為中文、and(&)、星號(*)等特殊字元。

以匯入本地檔案banking.txt至DataWorks為例,操作如下:

  1. 資料開發頁面,單擊匯入表徵圖。使用資料開發匯入資料

  2. 資料匯入嚮導對話方塊中,至少輸入3個字母來搜尋需要匯入資料的bank_data表,單擊下一步

    說明

    如果您建立表後無法在此處搜尋到該表,您可以先在資料地圖進行手工同步表操作後,再在此處嘗試搜尋該表,手工同步詳情可參考文檔:手動重新整理表中繼資料

  3. 選擇資料匯入方式上傳本機資料,單擊選擇檔案後的瀏覽...。選擇本機資料檔案,配置匯入資訊。

    bank

    參數

    描述

    選擇資料匯入方式

    預設上傳本地檔案

    檔案格式

    您可以選擇csv自訂文字檔兩種格式。

    選擇檔案

    單擊瀏覽...,選擇本地需要上傳的檔案。

    選擇分隔字元

    包括逗號Tab分號空格|#&等分隔字元,此處選擇逗號

    原始字元集

    包括GBKUTF-8CP936ISO-8859,此處選擇GBK

    匯入起始行

    選擇匯入的起始行,此處選擇1

    首行為標題

    根據自身需求,設定首行是否為標題。本樣本無需選中首行為標題

    資料預覽

    您可以在此處進行資料預覽。

  4. 單擊下一步

  5. 選擇目標表欄位與源欄位的匹配方式,本樣本選擇按位置匹配

  6. 單擊匯入資料

後續步驟

現在,您已經學習了如何建立表並上傳資料,您可以繼續下一個教程。在該教程中,您將學習如何通過建立、配置和提交商務程序,對工作空間的資料進行深入分析和計算。詳情請參見建立商務程序