全部產品
Search
文件中心

OpenSearch:RDS資料來源配置

更新時間:Jul 13, 2024

RDS資料來源配置

雲資料庫(Relational Database Service,即關係型資料庫服務,簡稱RDS)是阿里雲對外提供的一種即開即用、穩定可靠、可Auto Scaling的線上資料庫服務(瞭解RDS)。

購買RDS前須知

  • OpenSearch目前支援RDS for MySQL(不支援5.2以下,8以上版本,支援8.0);

  • 購買RDS執行個體時,必須是常規執行個體,雙機高可用版,RDS MySQL基礎版和三節點企業版為非高可用版,不支援。

  • RDS執行個體必須隸屬於當前登入阿里雲帳號才能訪問使用。

  • RDS執行個體所在地區必須與OpenSearch應用地區一致。

  • 不支援RDS clone執行個體,否則應用啟用後狀態一直處於初始化。

  • 不支援的RDS執行個體及不滿足相關限制的RDS執行個體索引重建將會失效。

  • RDS資料來源只支援VPC網路

溫馨提示:

  • 不支援DRDS資料來源。

  • 授權:對OpenSearch擷取RDS資料做授權操作,在使用者佈建了IP白名單的情況下,OpenSearch會將所用IP添加到使用者白名單中。若不勾選授權,則串連資料不會高亮顯示。

支援功能

  • 支援(手動/定時索引重建)拉取指定資料庫表全量。

  • 支援單個或多個資料來源表資料橫向合并,要求這些源表結構及資料來源外掛程式配置必須完全相同,並且主索引值均不重複(主索引值重複會覆蓋),主要支援以下2種情境:

    • 應用表中配有一個資料來源,並且包含多個源表。

    • 應用表中配有多個資料來源,並且各資料來源包含1個或多個源表。

  • 支援資料來源欄位轉換外掛程式。

  • 支援的資料同步方式

  • 支援(全量)過濾條件。

  • 支援通過萬用字元*匹配資料庫表名。

重要
  • 當您選擇“自動同步”作為資料同步方式時,將啟用 OpenSearch 提供的內部服務來訂閱資料庫的 binlog,並同步增量資料。請注意,如果發生使用者端的變更操作,如刪除資料庫表、變更存取權限、清理 binlog 日誌或修改資料庫密碼等,可能會導致 OpenSearch 無法成功訂閱並同步所配置表的binlog。在這種情況下,由於增量資料無法同步,OpenSearch 將不承擔任何責任。使用者應確保在進行此類操作前已經完全瞭解可能產生的影響,並採取必要的預防措施;

  • 同步方式選擇自動同步,OpenSearch將儘力保障同步服務的穩定性但不保障同步的延遲,如果對同步延遲比較敏感的業務建議同步方式採用DTS資料訂閱執行個體(DTS即時同步

相關限制

  • 只支援RDS的binlog為full模式。

  • 只支援RDS中的MySQL常規執行個體 (雙機高可用版)。

  • 不支援5.2以下,8以上版本,支援8.0。

  • 5.6版本的RDS,建議合理調大參數loose_max_execution_time、loose_max_statement_time的閾值,以免在索引重建時報錯類似錯誤:Query execution was interrupted, max_statement_time exceeded。

  • RDS執行個體必須隸屬於當前登入阿里雲帳號才能訪問。

  • RDS執行個體所在地區必須與OpenSearch應用地區一致。

  • 標準版應用在配置RDS資料來源後,不支援(SDK/API)推送增量。

  • (外網地區)標準版應用的RDS資料來源,暫不支援資料來源過濾條件。

  • 不支援replace into文法。

  • 不支援truncatedrop命令,請使用delete命令刪除資料。

  • 不支援RDS clone執行個體,否則應用啟用後狀態一直處於初始化。

  • RDS 訪問密碼不能包含%符號,會導致索引重建任務失敗。

  • 不支援通過RDS高許可權帳號訪問。(否則串連RDS會失敗)。

  • 不支援在不同資料庫源表結構之間做欄位列合并。

  • 不支援無binlog的replica client 和 replica slave。檢查及開啟方式,請點擊查看文檔

注意事項

  • RDS支援內/外網的網域名稱切換,OpenSearch對RDS資料擷取均不收取任何流量費用。

  • OpenSearch僅支援從主庫拉取全量資料,建議根據您的業務繁忙情況,選擇低峰期索引重建匯入全量資料。

  • RDS表中datetimetimestamp此類時間類型,系統會自動轉化為毫秒數,請將對應應用表欄位類型設定為TIMESTAMP

  • 外網地區RDS執行個體,需要申請內網地址後才能訪問,否則會提示串連RDS服務失敗,請稍後再試

  • 不符合資料來源過濾條件的(全量)文檔會被過濾,並且如果對應應用表中存在相同主索引值的文檔也會一併刪除。

  • 資料來源側長時間(15天及以上)沒有增量資料,可能會導致資料同步異常,如遇此情況請手動操作索引重建線下變更即可解決。

  • 通過OpenSearch同步RDS資料來源資料時,需要將OpenSearch伺服器的IP位址區段加入到RDS對應的安全設定中,各地區的IP白名單可參考如下列表:

    地區

    IP位址區段

    杭州

    100.104.190.128/26,100.104.241.128/26

    北京

    100.104.16.192/26,100.104.179.0/26

    上海

    100.104.37.0/26,100.104.46.0/26

    深圳

    100.104.87.192/26,100.104.132.192/26

    青島

    100.104.240.128/26,100.104.111.128/26

    張家口

    100.104.155.192/26,100.104.238.64/26

    德國

    100.104.127.0/26,100.104.35.192/26

    美國

    100.104.193.128/26,100.104.119.128/26

    新加坡

    100.104.58.192/26,100.104.74.192/26

帳號授權問題

MySQL5.7+ 接入&使用建議:

  • MySQL5.7+ 接入時,需要授權訪問RDS執行個體。並且填寫帳號密碼,初次接入時,請謹慎選擇帳號密碼。

  • 【確保帳號許可權】必須確保帳號能有查看該庫所有表的許可權(上遊DTS服務的限制), 保證能正確執行 show create table *. *,如果沒有。可能會發生即時服務同步出現問題。

  • 【少做帳號許可權變更】當前OpenSearch即時任務也是MySQL的用戶端。帳號變更會帶來當前即時任務的不能正常消費。同時新版本建立也會受影響。若變更帳號密碼,需要刪除執行個體重新接入庫。

  • OpenSearch需要使用者RDS的最小許可權是:1. show create table許可權;2. REPLICATION SLAVE 或 REPLICATION CLIENT許可權;3. binlog_row_image為FULL;4. binlog_format 為ROW

  • 如果RDS開啟了SSL認證加密,一定要保證認證有效期間沒有到期,如果到期了,會導致串連異常,請及時更新SSL認證有效期間。

常見問題

  • 使用RAM子帳號在控制台中為應用配置RDS資料來源,必須要對該RAM子帳號進行授權,否則會提示串連RDS服務失敗,請稍後再試,參考 RAM(子帳號)的建立及授權文檔(確保主帳號有建立OpenSearch服務關聯角色)。

  • RDS訪問密碼不能包含%符號,否則會導致索引重建任務失敗。(報錯提示: Illegal hex characters in escape (%) pattern)。

  • 系統要求應用表主索引值不重複,如果分表情況下主索引值有重複會覆蓋,可使用StringCatenateExtractor資料來源外掛程式合并多個欄位值,來源欄位為pk,$table(pk替換為RDS表主鍵欄位,$table為預設系統變數,表示對應資料庫表名,$table需要配置萬用字元分表時才可以用),拼接字元為-(可自訂)。例如,RDS表為my_table_0,主鍵欄位值為123456,拼接後新主索引值為123456-my_table_0

  • 根據資料庫表中的datedatetime欄位類型過濾資料,假設資料庫表欄位名為createtime,則資料來源過濾條件中的時間格式必須為 createtime>'2018-03-01 00:00:00',如果使用 createtime>'2018-3-1 00:00:00'這種格式會報錯。

配置RDS資料來源流程

控制台配置步驟及注意事項

1.選擇RDS資料來源,點擊建立資料庫

1

2.RDS資訊填寫完成後,點擊連線按鍵。

2

參數名稱

說明

執行個體ID

RDS資料庫的執行個體ID(不是名稱),可以在RDS控制台中擷取(大小寫敏感),暫不支援唯讀執行個體,需填寫的執行個體ID格式參考: rm-bp19b4g5n11111111

資料庫名

該執行個體下需要串連的資料庫名(大小寫不敏感)。

使用者名稱

資料庫唯讀使用者名稱,用於擷取資料庫表模式及全量資料(大小寫敏感且具有隻讀許可權)。

密碼

唯讀使用者名稱對應的密碼。

OpenSearch會嘗試串連,並根據具體情形,給出結果提示:

提示資訊

處理方法

目前使用者的目前範圍沒有此RDS執行個體

請檢查執行個體ID是否正確,並確保RDS執行個體所在地區與OpenSearch應用地區一致。如果條件符合仍然報錯,可提工單反饋

串連RDS服務失敗

請檢查RDS串連串是否正確包括執行個體ID、資料庫名、使用者名稱、密碼

當前RDS資料庫下沒有此表

請檢查表名填寫是否正確,以及RDS資料庫中是否確實存在該表

3.已建立資料來源串連介面如下,選擇對應表,並單擊向右箭頭,儲存到右側已選擇介面。

3

  • 選擇或輸入該資料庫下需要訪問的表名(大小寫敏感)。

  • 支援分表規則 table_* 的方式,例如 table_a、table_b 等。

4.欄位對應,選擇需要拉取的資料庫欄位。單擊確定,完成應用建立。

4

  • 在該介面可以添加需要映射同步的資料庫欄位。

  • 在該介面中的內容轉換,可以添加資料來源外掛程式,外掛程式的使用及說明文檔,請點擊此處

1

5.配置RDS資料來源過濾條件。

5

  • OpenSearch應用表中也可配置多個資料來源,但最終這些表結構及配置必須完全相同。

  • RDS資料來源配置的過濾條件只能拉取符合該條件的記錄,詳細配置請參考資料來源過濾條件