全部產品
Search
文件中心

AnalyticDB:通過聯邦分析功能同步至湖倉版

更新時間:Sep 25, 2024

聯邦分析使用AnalyticDB for MySQL的免費高速資料管道服務(APS)將PolarDB MySQL中的資料即時同步至湖倉版叢集中,協助您一站式完成資料同步與管理。

您還可以加入湖倉版體驗交流群(DingTalk群號:33600023146)瞭解更多關於聯邦分析功能的資訊。

重要
  • PolarDB for MySQL聯邦分析功能已於2024年7月23日完成迭代升級。該功能的入口已下線,不再支援建立任務。後續您可前往PolarDB控制台-Data Integration,進行同步任務的建立。詳情請參見通過無感整合(Zero-ETL)同步資料

  • 若您已經設定了聯邦分析鏈路,您仍可在華東1(杭州)、華東2(上海)、華南1(深圳)、華北2(北京)、美國(維吉尼亞)地區看到聯邦分析入口,以便進行鏈路管理。

前提條件

  • PolarDB MySQL執行個體與AnalyticDB for MySQL湖倉版叢集位於同一地區。具體操作,請參見建立執行個體建立叢集

  • PolarDB MySQL執行個體已開啟Binlog功能。具體操作,請參見開啟Binlog

使用限制

  • PolarDB MySQL聯邦分析僅支援AnalyticDB for MySQL湖倉版叢集。

  • 僅部分地區支援聯邦分析:華北2(北京)、華東1(杭州)、華東2(上海)、華南1(深圳)、中國(香港)、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、美國(矽谷)、美國(維吉尼亞)、德國(法蘭克福)、英國(倫敦)。

  • 單個PolarDB MySQL執行個體僅允許建立3個同步鏈路任務;單個地區僅允許建立30個同步鏈路任務。

建立同步鏈路

  1. 登入PolarDB控制台

  2. 在頁面左上方,選擇目標執行個體所在地區。

  3. 在左側導覽列選擇聯邦分析

  4. 單擊建立鏈路,在彈出的建立鏈路面板中配置如下參數:

    參數

    說明

    任務名稱

    您可以自訂任務名稱。任務名稱預設為data-sync-時間標識

    PolarDB MySQL叢集

    源PolarDB MySQL執行個體ID。

    來源資料庫帳號名

    聯邦分析會自動為PolarDB MySQL執行個體建立資料庫帳號,執行資料同步操作。資料庫帳號以sync開頭,請勿刪除或修改該資料庫帳號名稱。

    AnalyticDB MySQL執行個體

    目標AnalyticDB for MySQL叢集ID。

    您可以選擇已有的AnalyticDB for MySQL叢集或單擊點擊建立AnalyticDB MySQL執行個體,建立AnalyticDB for MySQL叢集。

    進階設定

    預設關閉。關閉時為源端整執行個體同步。

    開啟進階配置後可配置同步庫表選擇大表分區鍵設定參數。

    同步庫表選擇

    您可以選擇需要同步的資料庫和資料表。預設同步源端所有的庫表。

    重要
    • 不支援同步無主鍵的表,無主鍵的表會被自動過濾。

    • AnalyticDB for MySQL每個叢集最多可建立2048個資料庫。更多資訊,請參見使用限制

    大表分區鍵設定

    為了提高資料的寫入和查詢效能,建議您設定分區鍵。如何設定分區鍵,請參見表結構設計

    支援設定的分區格式如下:

    • value:按值進行分區。

    • yyyyMMdd:按年、月、日進行分區。

    • yyyyMM:按年、月進行分區。

    • yyyy:按年進行分區。

  5. 單擊確定。任務自動啟動。

    聯邦分析頁面,您可以查看已建立的任務,也可以操作查看編輯刪除暫停、啟動同步任務。

    image.png

    重要

    任務刪除後無法恢複。

  6. 單擊目標執行個體ID,頁面將自動跳轉到AnalyticDB for MySQL控制台。您可以在AnalyticDB for MySQL控制台進行資料分析。相關操作請參見SQL開發編輯器