全部產品
Search
文件中心

Tablestore:接入到DMS

更新時間:Nov 16, 2024

Table StoreTablestore支援接入到DMS中進行管理和使用,您可以通過在DMS中添加Table Store執行個體,然後再在DMS中使用SQL語句查詢Tablestore資料。通過SQL查詢到合格資料後,您還可以按需匯出Tablestore資料到本地。

背景資訊

Data Management(Data Management)是一款支撐資料全生命週期的一站式資料管理平台。DMS提供全域資料資產管理、資料治理、資料庫設計開發、Data Integration、資料開發和資料消費等功能,致力於協助企業高效、安全地挖掘資料價值,助力企業數字化轉型。更多資訊,請參見什麼是Data Management

使用情境

將Table Store接入到DMS ,可以在DMS中實現高效的資料處理和分析,支援多樣化的巨量資料應用情境。典型使用情境如下:

  • 大規模資料存放區與分析

    藉助Table Store的高輸送量和大容量特性,您可以在DMS中通過SQL方式直接查詢和處理Table Store中的資料,進行巨量資料分析。例如日誌分析、使用者行為分析等。

  • 資料匯入匯出

    DMS支援資料的匯入匯出功能,可以將外部資料載入到Table Store或從Table Store中匯出資料到其他系統中。

  • 資料流轉與整合

    通過DMS可以方便地將其他資料來源的資料流轉到Table Store中或者將Table Store資料流轉到資料倉儲、訊息佇列或其他線上/離線分析系統中,支援資料湖、資料中台等複雜資料架構的構建,實現資料的高效整合和利用。

  • 即時資料監控與警示

    結合DMS的監控和通知功能,可以設定針對錶格儲存中關鍵計量的監控和警示規則,及時發現並響應資料異常或系統效能問題,保障商務持續性和穩定性。

準備工作

  • 在存取控制RAM服務側完成如下操作:

    • 已建立RAM使用者並為RAM使用者授予管理Table Store許可權(AliyunOTSFullAccess)。具體操作,請參見建立RAM使用者為RAM使用者授權

      警告

      阿里雲帳號AccessKey泄露會威脅您所有資源的安全。建議您使用RAM使用者AccessKey進行操作,可以有效降低AccessKey泄露的風險。

    • 已為RAM使用者建立AccessKey。具體操作,請參見建立AccessKey

  • 在Table Store服務側已完成如下操作:

  • 在DMS服務側完成如下操作:

    • 首次使用DMS服務時,請根據介面提示建立DMS服務關聯角色AliyunServiceRoleForDMS。

      該服務角色用於允許DMS訪問您的ECS、VPC、RDS以及各類資料庫/工具相關的資源。更多資訊,請參見DMS服務關聯角色

      image

    • 已為使用者配置具有SQL操作許可權的系統角色。關於系統角色的更多資訊,請參見系統角色

      說明
      • 當前租戶的阿里雲主帳號下的子帳號預設為普通使用者。

      • 普通使用者角色可申請相關資料庫的許可權並進行資料(表結構)的查詢與變更,可以是企業的研發人員、測試人員、產品人員、營運人員、資料分析師等。

    • 推薦使用極簡模式控制台進行功能操作。

注意事項

  • 此功能適用於Table Store的寬表模型時序模型

  • 當前支援在DMS的SQL視窗中對錶格儲存進行的SQL查詢功能與Table Store自身支援的SQL查詢功能一致。更多資訊,請參見SQL支援功能說明

  • 目前DMS只支援通過傳統網路訪問Table Store執行個體,請確保在Table Store執行個體的Network ACL中已允許通過傳統網路訪問執行個體。更多資訊,請參見Network ACL

操作步驟

將Tablestore接入到DMS後,使用SQL查詢功能查詢和分析Tablestore中資料。

步驟一:在DMS中添加Tablestore執行個體

Tablestore執行個體添加到DMS中,具體步驟如下:

  1. 登入Data Management 5.0

  2. 在控制台首頁左側的資料庫執行個體地區,單擊新增執行個體image表徵圖。

    說明

    您也可以在控制台首頁的搜尋方塊中,輸入執行個體管理,在搜尋結果中單擊執行個體管理進入對應頁面,單擊新增,進行新增執行個體操作。

  3. 新增執行個體對話方塊,新增Tablestore執行個體。

    1. 在資料來源模組的阿里雲頁簽,單擊NoSQL資料庫地區中的Tablestore

    2. 基本資料模組,根據下表說明配置Tablestore執行個體基本資料。

      配置項

      說明

      資料庫類型

      資料庫執行個體的類型。此處選擇為Tablestore

      執行個體地區

      資料庫執行個體所在的地區。

      其他主帳號

      如果要操作其他主帳號中的執行個體,請單擊跨阿里雲帳號執行個體,然後選擇資料庫執行個體所屬的主帳號。

      說明

      如果主帳號不在挑選清單中,您可以單擊添加使用者,添加資料庫執行個體購買者的主帳號。具體操作,請參見使用者管理

      執行個體ID

      執行個體ID。

      安全託管

      是否給執行個體開啟安全託管。取值範圍如下:

      • 開啟:開啟安全託管後,可以避免使用者直接接觸資料庫帳號和密碼;可實現執行個體、庫、表和行等粒度的許可權管控。更多資訊,請參見安全託管

      • 不開啟(不推薦):不開啟託管需要頻繁使用資料庫帳號和密碼登入,可能會影響正常功能使用。

      AccessKey ID

      當為執行個體開啟安全託管,且是首次錄入執行個體時,需要輸入RAM使用者的AccessKey ID和AccessKey Secret。

      AccessKey Secret

      增值功能包

      按需選擇安全協同穩定變更功能包。如果不選擇安全協同和穩定變更功能包,則執行個體預設為自由操作。更多資訊,請參見管控模式

      • 安全協同支援穩定變更的所有能力,其提供DevOps功能,可靈活自訂研發流程、審批次程序。

      • 穩定變更支援為資料庫提供更加穩定啟動並執行解決方案,例如無鎖變更、SQL審核。

      安全規則

      當設定增值功能包安全協同時,才會顯示該配置項。

      您可以選擇系統預設或自建的安全規則對資料庫進行精細化的管控。更多資訊,請參見建立安全規則

    3. (可選)在進階資訊模組,按需配置環境類型、執行個體名稱、查詢逾時時間等更多進階特性。

      配置項

      說明

      環境類型

      選擇資料庫環境的類型。關於執行個體環境類型的更多資訊,請參見更改執行個體環境類型

      執行個體名稱

      執行個體在DMS中顯示的名稱。DMS預設會自動同步Table Store側的執行個體名稱。

      如果要自訂執行個體在DMS中的顯示名稱,您可以取消選中自動同步執行個體名稱,然後設定執行個體名稱。

      執行個體DBA

      選擇一個DBA角色進行後續許可權申請等流程。

      查詢逾時時間(s)

      設定安全性原則,當達到設定的時間後,SQL視窗執行的查詢語句會中斷,以保護資料庫安全。

      匯出逾時時間(s)

      設定安全性原則,當達到設定的時間後,SQL視窗執行的匯出語句會中斷,以保護資料庫安全。

  4. 測試連通性。

    1. 單擊測試連接

    2. 測試連接成功後,單擊確認

  5. 單擊提交

  6. 託管授權。

    當執行個體開啟了安全託管模式時,系統會進行託管提醒,請按需進行託管授權配置。如果有他人要使用添加的執行個體,需向您或執行個體Owner申請許可權。

    1. 託管提醒對話方塊,單擊立即授權

    2. 許可權授予對話方塊,選擇被授權人、權限類別型和有效期間資訊。

    3. 單擊確認

步驟二:在DMS中使用SQL查詢Tablestore資料

Table Store支援寬表模型、時序模型等資料存放區模型,不同資料存放區模型的使用SQL查詢操作存在差異,請根據所用資料存放區模型選擇相應操作。

使用SQL查詢寬表資料

  1. 進入SQLConsole頁面。

    說明

    您也可以在控制台首頁左側的資料庫執行個體地區中雙擊已添加的Tablestore執行個體進入SQLConsole頁面。

    1. 登入Data Management 5.0

    2. 在控制台首頁左側,將滑鼠放到image表徵圖上,選擇SQL視窗

    3. 請先選擇資料庫對話方塊,選擇已添加到DMS的Tablestore執行個體。

      DMS中會自動顯示Tablestore中已建立的SQL映射表。

  2. 為表建立映射關係並運行SQL語句。

    如果已為表建立了SQL映射關係,請跳過此操作。

    重要

    建立表的SQL映射關係時,請確保SQL映射關係中的欄位類型與表中的欄位類型相匹配。更多資訊,請參見SQL資料類型映射

    1. SQLConsole頁面中編寫建立SQL映射關係的SQL語句。具體操作,請參見建立表的映射關係

      為資料表建立映射關係時,SQL映射表名稱必須與資料表名稱相同,且SQL的主鍵列必須與資料表的主鍵列相同。

      說明

      如果已為資料表建立多元索引,您還可以選擇為多元索引建立映射關係來實現通過指定多元索引查詢資料。具體操作,請參見建立多元索引的映射關係

      以下樣本用於建立test_table表的SQL映射關係。

      CREATE TABLE `test_table` (
          `pk` VARCHAR(1024), 
          `long_value` BIGINT(20), 
          `double_value` DOUBLE, 
          `string_value` MEDIUMTEXT, 
          `bool_value` BOOL, 
          PRIMARY KEY(`pk`)
      );
    2. 選中完整SQL語句後單擊執行(F8)或單擊SQL語句首行位置前的image表徵圖。

      運行結果會顯示在相應結果頁簽中。

  3. 使用SQL查詢表中資料。

    1. SQLConsole頁面中編寫SELECT語句查詢資料。具體操作,請參見查詢資料

      以下樣本用於查詢test_table表中資料,並且最多返回20行資料。

      SELECT `pk`, `long_value`, `double_value`, `string_value`, `bool_value` FROM test_table LIMIT 20;
    2. 選擇SQL語句單擊執行(F8)或單擊SQL語句位置前的image表徵圖。

      運行結果會顯示在相應執行結果頁簽中。

      在SQL查詢語句的執行結果頁簽中,將滑鼠移動到匯出檔案上,選擇要匯出的結果集,DMS會下載相應結果集到本地或者產生結果集的INSERT SQL。

      說明

      執行歷史頁簽,您可以查看SQL的執行歷史資訊,例如執行時間、SQL語句、狀態等資訊。對於執行失敗的SQL語句,您還可以參考備忘列的出錯原因進行問題處理。

使用SQL查詢時序資料

  1. 進入SQLConsole頁面。

    說明

    您也可以在控制台首頁左側的資料庫執行個體地區中雙擊已添加的Tablestore執行個體進入SQLConsole頁面。

    1. 登入Data Management 5.0

    2. 在控制台首頁左側,將滑鼠放到image表徵圖上,選擇SQL視窗

    3. 請先選擇資料庫對話方塊,選擇已添加到DMS的Tablestore執行個體。

      DMS中會自動顯示Tablestore中已建立的SQL映射表。

  2. 為表建立映射關係並運行SQL語句。

    建立時序表後,系統會自動為表建立單值模型映射關係和時間軸中繼資料映射關係,無需手動建立。在SQL中單值模型映射關係的名稱與時序表名相同,時間軸中繼資料映射關係的表名為時序表名稱後拼接::meta

    如果要以多值模型查詢時序資料,您需要手動建立多值模型映射關係。否則請跳過此操作。

    重要

    建立表的SQL映射關係時,請確保SQL映射關係中的欄位類型與表中的欄位類型相匹配。更多資訊,請參見SQL資料類型映射。其中時序表SQL映射類型中具體欄位的類型說明請參見時序表的映射關係

    1. SQLConsole頁面中編寫SQL語句建立SQL映射關係。更多資訊,請參見時序表的SQL映射關係

      假設測量的屬性同時包含了cpu、memory、disktop三種度量,此處以建立多實值型別映射表timeseries_table::muti_model為例介紹。SQL樣本如下:

      CREATE TABLE `timeseries_table::muti_model` (
        `_m_name` VARCHAR(1024), 
        `_data_source` VARCHAR(1024), 
        `_tags` VARCHAR(1024),
        `_time` BIGINT(20),
        `cpu` DOUBLE(10),
        `memory` DOUBLE(10),
        `disktop` DOUBLE(10),
        PRIMARY KEY(`_m_name`,`_data_source`,`_tags`,`_time`)
      );
    2. 選中完整SQL語句後單擊執行(F8)或單擊SQL語句首行位置前的image表徵圖。

      運行結果會顯示在相應結果頁簽中。

  3. 使用SQL查詢表中資料。

    1. SQLConsole頁面中編寫SELECT語句查詢資料。更多資訊,請參見SQL樣本

      • 使用單值模型映射關係查詢資料

        以下樣本用於查詢時序資料表中basic_metric度量類型的資料。

        SELECT * FROM timeseries_table WHERE _m_name = "basic_metric" LIMIT 10;
      • 使用時間線中繼資料映射關係查詢資料

        以下用於查詢時序中繼資料表中basic_metric度量類型下的時間軸。

        SELECT * FROM  `timeseries_table::meta` WHERE _m_name = "basic_metric" LIMIT 100;
      • 使用多值模型映射關係查詢資料

        以下樣本用於查詢多值模型映射表中cpu大於20.0的所有度量資訊。

        SELECT cpu,memory,disktop FROM `timeseries_table::muti_model` WHERE cpu > 20.0 LIMIT 10;
    2. 選擇SQL語句單擊執行(F8)或單擊SQL語句位置前的image表徵圖。

      運行結果會顯示在相應執行結果頁簽中。

      在SQL查詢語句的執行結果頁簽中,將滑鼠移動到匯出檔案上,選擇要匯出的結果集,DMS會下載相應結果集到本地或者產生結果集的INSERT SQL。

      說明

      執行歷史頁簽,您可以查看SQL的執行歷史資訊,例如執行時間、SQL語句、狀態等資訊。對於執行失敗的SQL語句,您還可以參考備忘列的出錯原因進行問題處理。

計費說明

Table Store費用說明

通過DMS使用SQL訪問Table Store時,SQL本身不會有額外的費用,但是使用SQL查詢資料過程中涉及到的表掃描、索引查詢等操作會產生費用。更多資訊,請參見SQL查詢計量計費

Table Store會根據具體的讀寫請求按照讀寫輸送量計量計費。同時根據執行個體類型不同,計費時需要區分按量讀寫CU以及預留讀寫CU。

說明

關於執行個體類型和CU的更多資訊,請分別參見執行個體讀寫輸送量

其他資源費用說明

使用DMS工具時,如果使用的是管控模式為穩定變更或安全協同的執行個體,則會產生費用;如果使用的是管控模式為自由操作的執行個體,則不收費。更多資訊,請參見計費項目

相關文檔

  • 您還可以通過Table Store的控制台、命令列工具、SDK、JDBC、Go語言驅動等方式使用SQL查詢資料。具體操作,請參見SQL使用方式

  • 您還可以將Tablestore執行個體接入到DataWorks,然後使用SQL查詢與分析Tablestore資料。更多資訊,請參見接入到DataWorks

  • 您還可以通過MaxCompute、Spark、Hive或者HadoopMR、Function Compute、Flink、PrestoDB等計算引擎實現對錶中資料的計算與分析。具體操作,請參見計算與分析

  • 如果要加速SQL資料查詢和計算,您可以通過建立二級索引或者多元索引實現。更多資訊,請參見索引選擇策略計算下推