OpenSearch：RDS資料來源配置

雲資料庫（Relational Database Service，即關係型資料庫服務，簡稱RDS）是阿里雲對外提供的一種即開即用、穩定可靠、可Auto Scaling的線上資料庫服務（瞭解RDS）。

購買RDS前須知

• OpenSearch目前支援RDS for MySQL（不支援5.2以下，8以上版本，支援8.0）；

• 購買RDS執行個體時，必須是常規執行個體，雙機高可用版，RDS MySQL基礎版和三節點企業版為非高可用版，不支援。

• RDS執行個體必須隸屬於當前登入阿里雲帳號才能訪問使用。

• RDS執行個體所在地區必須與OpenSearch應用地區一致。

• 不支援RDS clone執行個體，否則應用啟用後狀態一直處於初始化。

• 不支援的RDS執行個體及不滿足相關限制的RDS執行個體索引重建將會失效。

• RDS資料來源只支援VPC網路

溫馨提示：

• 不支援DRDS資料來源。

• 授權：對OpenSearch擷取RDS資料做授權操作，在使用者佈建了IP白名單的情況下，OpenSearch會將所用IP添加到使用者白名單中。若不勾選授權，則串連資料不會高亮顯示。

支援功能

• 支援（手動/定時索引重建）拉取指定資料庫表全量。

• 支援單個或多個資料來源表資料橫向合并，要求這些源表結構及資料來源外掛程式配置必須完全相同，並且主索引值均不重複（主索引值重複會覆蓋），主要支援以下2種情境：

  • 應用表中配有一個資料來源，並且包含多個源表。

  • 應用表中配有多個資料來源，並且各資料來源包含1個或多個源表。

• 支援資料來源欄位轉換外掛程式。

• 支援的資料同步方式：

  • 自動同步；

  • 自購DTS即時同步；

  • 不自動同步。

• 支援（全量）過濾條件。

• 支援通過萬用字元*匹配資料庫表名。

相關限制

• 只支援RDS的binlog為full模式。

• 只支援RDS中的MySQL常規執行個體 （雙機高可用版）。

• 不支援5.2以下，8以上版本，支援8.0。

• 5.6版本的RDS，建議合理調大參數loose_max_execution_time、loose_max_statement_time的閾值，以免在索引重建時報錯類似錯誤：Query execution was interrupted, max_statement_time exceeded。

• RDS執行個體必須隸屬於當前登入阿里雲帳號才能訪問。

• RDS執行個體所在地區必須與OpenSearch應用地區一致。

• 標準版應用在配置RDS資料來源後，不支援（SDK/API）推送增量。

• （外網地區）標準版應用的RDS資料來源，暫不支援資料來源過濾條件。

• 不支援replace into文法。

• 不支援truncate和drop命令，請使用delete命令刪除資料。

• 不支援RDS clone執行個體，否則應用啟用後狀態一直處於初始化。

• RDS 訪問密碼不能包含%符號，會導致索引重建任務失敗。

• 不支援通過RDS高許可權帳號訪問。（否則串連RDS會失敗）。

• 不支援在不同資料庫源表結構之間做欄位列合并。

• 不支援無binlog的replica client 和 replica slave。檢查及開啟方式，請點擊查看文檔。

注意事項

• RDS支援內/外網的網域名稱切換，OpenSearch對RDS資料擷取均不收取任何流量費用。

• OpenSearch僅支援從主庫拉取全量資料，建議根據您的業務繁忙情況，選擇低峰期索引重建匯入全量資料。

• RDS表中datetime及timestamp此類時間類型，系統會自動轉化為毫秒數，請將對應應用表欄位類型設定為TIMESTAMP。

• 外網地區RDS執行個體，需要申請內網地址後才能訪問，否則會提示串連RDS服務失敗，請稍後再試。

• 不符合資料來源過濾條件的（全量）文檔會被過濾，並且如果對應應用表中存在相同主索引值的文檔也會一併刪除。

• 資料來源側長時間（15天及以上）沒有增量資料，可能會導致資料同步異常，如遇此情況請手動操作線下變更即可解決。

• 通過OpenSearch同步RDS資料來源資料時，需要將OpenSearch伺服器的IP位址區段加入到RDS對應的安全設定中，各地區的IP白名單可參考如下列表：

  地區	IP位址區段
  杭州	100.104.190.128/26,100.104.241.128/26
  北京	100.104.16.192/26,100.104.179.0/26
  上海	100.104.37.0/26,100.104.46.0/26
  深圳	100.104.87.192/26,100.104.132.192/26
  青島	100.104.240.128/26,100.104.111.128/26
  張家口	100.104.155.192/26,100.104.238.64/26
  德國	100.104.127.0/26,100.104.35.192/26
  美國	100.104.193.128/26,100.104.119.128/26
  新加坡	100.104.58.192/26,100.104.74.192/26

帳號授權問題

MySQL5.7+ 接入&使用建議：

• MySQL5.7+ 接入時，需要授權訪問RDS執行個體。並且填寫帳號密碼,初次接入時，請謹慎選擇帳號密碼。

• 【確保帳號許可權】必須確保帳號能有查看該庫所有表的許可權（上遊DTS服務的限制）， 保證能正確執行 show create table *. *，如果沒有。可能會發生即時服務同步出現問題。

• 【少做帳號許可權變更】當前OpenSearch即時任務也是MySQL的用戶端。帳號變更會帶來當前即時任務的不能正常消費。同時新版本建立也會受影響。若變更帳號密碼，需要刪除執行個體重新接入庫。

• OpenSearch需要使用者RDS的最小許可權是：1. show create table許可權；2. REPLICATION SLAVE 或 REPLICATION CLIENT許可權；3. binlog_row_image為FULL；4. binlog_format 為ROW

• 如果RDS開啟了SSL認證加密，一定要保證認證有效期間沒有到期，如果到期了，會導致串連異常，請及時更新SSL認證有效期間。

常見問題

• 使用RAM子帳號在控制台中為應用配置RDS資料來源，必須要對該RAM子帳號進行授權，否則會提示串連RDS服務失敗，請稍後再試，參考 建立RAM使用者文檔（確保主帳號有建立OpenSearch服務關聯角色）。

• RDS訪問密碼不能包含%符號，否則會導致索引重建任務失敗。（報錯提示： Illegal hex characters in escape (%) pattern）。

• 系統要求應用表主索引值不重複，如果分表情況下主索引值有重複會覆蓋，可使用StringCatenateExtractor資料來源外掛程式合并多個欄位值，來源欄位為pk,$table（pk替換為RDS表主鍵欄位，$table為預設系統變數，表示對應資料庫表名，$table需要配置萬用字元分表才可以用），拼接字元為-（可自訂）。例如，RDS表為my_table_0，主鍵欄位值為123456，拼接後新主索引值為123456-my_table_0。

• 根據資料庫表中的date或datetime欄位類型過濾資料，假設資料庫表欄位名為createtime，則資料來源過濾條件中的時間格式必須為 createtime>'2018-03-01 00:00:00'，如果使用 createtime>'2018-3-1 00:00:00'這種格式會報錯。

配置RDS資料來源流程

• 在快速搭建應用過程，配置RDS資料來源。

• 已建立應用可通過應用詳情頁——“線下變更”修改。

控制台配置步驟及注意事項

1.選擇RDS資料來源，點擊建立資料庫。

2.RDS資訊填寫完成後，點擊連線按鍵。

OpenSearch會嘗試串連，並根據具體情形，給出結果提示：

3.已建立資料來源串連介面如下，選擇對應表，並單擊向右箭頭，儲存到右側已選擇介面。

• 選擇或輸入該資料庫下需要訪問的表名（大小寫敏感）。

• 支援分表規則 table_* 的方式，例如 table_a、table_b 等。

4.欄位對應，選擇需要拉取的資料庫欄位。單擊確定，完成應用建立。

• 在該介面可以添加需要映射同步的資料庫欄位。

• 在該介面中的內容轉換，可以添加資料來源外掛程式，外掛程式的使用及說明文檔，請資料來源外掛程式說明。

5.配置RDS資料來源過濾條件。

• OpenSearch應用表中也可配置多個資料來源，但最終這些表結構及配置必須完全相同。

• RDS資料來源配置的過濾條件只能拉取符合該條件的記錄，詳細配置請參考資料來源過濾條件（RDS/PolarDB）。