AnalyticDB：數倉版快速入門

建立高許可權帳號

1. 登入雲原生資料倉儲AnalyticDB MySQL控制台。
2. 在頁面左上方，選擇叢集所在地區。
3. 在左側導覽列，單擊集群清單。

4. 在頁簽，單擊目的地組群ID。

5. 在左側導覽列，單擊帳號管理。

6. 在帳號管理頁面，單擊建立高許可權帳號。

7. 在創建賬號面板，設定相關參數。

   參數	說明
   数据库账号	高許可權帳號的帳號名稱，根據控制台提示輸入符合要求的名稱。
   账号类型	數倉版叢集固定為高許可權帳號，無需配置。
   新密碼	高許可權帳號的密碼，根據控制台提示輸入符合要求的帳號密碼。
   确认密码	再次輸入高許可權帳號的密碼。
   描述	備忘該帳號的相關資訊，便於後續帳號管理。可選。

8. 單擊確定完成帳號建立。

建立和授權普通帳號

操作步驟

1. 登入雲原生資料倉儲AnalyticDB MySQL控制台。
2. 在頁面左上方，選擇叢集所在地區。
3. 在左側導覽列，單擊集群清單。

4. 在數倉版頁簽中，單擊目標集群ID。

5. 在左側導覽列單擊資料安全。

6. 在白名单设置頁面，單擊default白名單分組右側的修改。

   說明

   您也可以單擊建立白名單群組建立自訂分組。

7. 在修改白名单分组對話方塊中，刪除預設IP 127.0.0.1，填寫需要訪問該叢集的IP地址或IP段，然後單擊確定。

   說明

   如果需要將用戶端出口IP地址添加到白名單中，請先查詢IP地址，詳情請參見串連。

使用DMS串連AnalyticDB for MySQL

1. 登入雲原生資料倉儲AnalyticDB MySQL控制台。
2. 在頁面左上方，選擇叢集所在地區。
3. 在左側導覽列，單擊集群清單。

4. 在數倉版頁簽下，單擊目標集群ID。

5. 在集群資訊頁面，單擊右上方登入資料庫。

6. 在彈出的對話方塊中，填寫登入資訊。

   參數	說明
   資料庫類型	預設為AnalyticDB MySQL 3.0，無需選擇。
   執行個體地區	預設為當前執行個體所在地區，無需選擇。 說明 若您需要登入其他地區下的AnalyticDB for MySQL叢集，從下拉式清單中選擇目的地組群的所在地區即可。
   執行個體ID	預設為當前叢集的叢集ID，無需選擇。 說明 若您需要登入其他AnalyticDB for MySQL叢集，從下拉式清單中選擇目的地組群ID即可。
   資料庫帳號	叢集的帳號名稱。
   資料庫密碼	帳號名對應的密碼。 說明 您可以選中記住密碼，方便之後再次登入當前AnalyticDB for MySQL叢集時，無需輸入資料庫帳號和密碼即可自動登入。

   說明

   • 首次通過DMS登入AnalyticDB for MySQL叢集時，管控模式預設為自由操作。登入成功後，您還可以通過編輯執行個體功能來修改管控模式。更多資訊，請參見編輯執行個體和管控模式。

   • 配置完登入參數後，您可以單擊左下角測試連接。如果測試連接失敗，請按照報錯提示檢查錄入的叢集資訊，如帳號或密碼是否正確。

   • 系統會自動嘗試往雲資料庫的白名單中添加DMS的伺服器訪問地址，若自動添加失敗請手動添加。詳情資訊，請參見步驟二：設定白名單和DMS白名單列表。

7. 單擊登入即可。

應用開發中通過代碼串連到AnalyticDB for MySQL

• JDBC

• Druid串連池

• Python

• PHP

• C#（Mac）

• Golang

通過MySQL命令列工具串連到AnalyticDB for MySQL

MySQL命令列串連AnalyticDB for MySQL

通過用戶端串連到AnalyticDB for MySQL

• DBeaver

• DBVisualizer

• Navicat

• SQL WorkBench/J

將AnalyticDB for MySQL串連到資料視覺化工具

• FineBI

• Quick BI

• 永洪BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

前提條件

• 通過以下步驟在OSS中建立儲存AnalyticDB for MySQL資料的目錄。

  1. 開通OSS服務。詳情請參見開通OSS服務。

  2. 建立儲存空間。詳情請參見控制台建立儲存空間。

     重要

     OSS的儲存空間與AnalyticDB for MySQL所屬地區相同。

  3. 建立目錄。詳情請參見建立目錄。

  4. 上傳測試檔案。詳情請參見控制台上傳檔案。

     本樣本將oss_import_test_data.txt檔案上傳至OSS中的<bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/目錄，資料行分隔字元為分行符號，資料行分隔符號為;，檔案樣本資料如下所示：

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• 根據AnalyticDB for MySQL入門指南，完成建立叢集、設定白名單、建立帳號和資料庫等準備工作，詳情請參見使用流程。

操作步驟

1. 通過CREATE TABLE，在adb_demo資料庫中建立外表。建立CSV、Parquet或TEXT格式OSS外表的建表文法請參見OSS外表文法。

2. 查詢OSS資料。

   查詢外表映射表和查詢AnalyticDB for MySQL內表文法沒有區別，您可以方便地直接進行查詢，如本步驟的範例程式碼所示。

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • 對於資料量較大的CSV或TEXT資料檔案，強烈建議您按照後續步驟匯入AnalyticDB for MySQL後再做查詢，否則查詢效能可能會較差。

   • 對於Parquet格式資料檔案，直接查詢的效能一般也比較高，您可以根據需要決定是否進一步匯入到AnalyticDB for MySQL後再做查詢。

3. 通過CREATE TABLE，在adb_demo資料庫中建立目標表adb_oss_import_test儲存從OSS中匯入的資料。

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. 執行INSERT語句將OSS外表資料匯入AnalyticDB for MySQL。

   重要

   使用INSERT INTO或INSERT OVERWRITE SELECT匯入資料時，預設是同步執行流程。如果資料量較大，達到幾百GB，用戶端到AnalyticDB for MySQL服務端的串連需要保持較長時間。在此期間，可能會因為網路因素導致串連中斷，進而導致資料匯入失敗。因此，如果您的資料量較大時，推薦使用SUBMIT JOB INSERT OVERWRITE SELECT非同步執行匯入。

   • 方式一：執行INSERT INTO匯入資料，當主鍵重複時會自動忽略當前寫入資料，不進行更新覆蓋，作用等同於INSERT IGNORE INTO，詳情請參見INSERT INTO。樣本如下：

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方式二：執行INSERT OVERWRITE匯入資料，會覆蓋表中原有的資料。樣本如下：

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方式三：非同步執行INSERT OVERWRITE匯入資料。 通常使用SUBMIT JOB提交非同步任務，由後台調度，可以在寫入任務前增加Hint（/*+ direct_batch_load=true*/）加速寫入任務。詳情請參見非同步寫入。樣本如下：

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     返回結果如下：

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     關於非同步提交任務詳情，請參見非同步提交匯入任務。

5. 執行以下命令，查詢adb_oss_import_test表的資料。

   SELECT * FROM adb_oss_import_test;

OSS外表文法

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"text|orc|parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAIF****5FsE",
    "accesskey":"Ccw****iWjv",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│ │ │ └── 000000_1
│ │ └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

相關文檔

更多匯入資料方式，請參見支援的資料來源。