Data Transmission Service：設定過濾條件

前提條件

當前任務處於配置任務對象及高級配置階段。進入此階段的方法，請參見同步方案概覽和遷移方案概覽中的相關配置文檔。

注意事項

• 不支援複雜的過濾語句，例如COLUMN1 IN (SELECT id FROM table1)。

• 若源表或集合中存在兩個列名僅大小寫不同的列，則可能會導致過濾任務無法達到預期結果。

• 來源資料庫類型為Tair/Redis時，僅支援通過Key的首碼過濾資料。

• 來源資料庫類型為MongoDB時，僅全量同步或遷移任務支援過條件過濾，增量同步處理或遷移階段不支援。

• 來源資料庫類型為除Tair/Redis和MongoDB外的資料庫時，如果過濾條件需要使用引號時，請使用單引號（'）。

• 請勿在過濾條件的末尾輸入分號（;），否則可能會導致任務失敗。

• 若在源庫執行UPDATE操作，且該操作滿足特定的條件（前鏡像值滿足過濾條件，但後鏡像值不滿足過濾條件），DTS預設會將UPDATE語句轉換為DELETE語句，然後在目標庫中執行。

操作步驟

1. 在配置任務對象及高級配置階段，將任務對象移動到已選擇對象地區框中後，按右鍵目標對象。

   說明

   來源資料庫類型為MongoDB時，任務對象的選擇粒度需為集合；來源資料庫類型為Tair/Redis時，任務對象的選擇粒度需為Redis DB；來源資料庫為其他類型的資料庫時，任務對象的選擇粒度需為表。

2. 在彈出的對話方塊中，填入過濾條件。

   過濾條件的文法與來源資料庫的類型有關，分為Tair/Redis、MongoDB和其他類型的資料庫三種。

   • 來源資料庫類型為Tair/Redis時：

     在彈出的編輯Schema對話方塊中，填入需要同步的首碼（白名單）或需要過濾的首碼（黑名單）。

     

     樣本語句

     過濾類型	樣本語句	說明
     同步單個首碼	dtsnew	只將待同步對象中Key以dtsnew開始的資料同步至目標端。
     過濾單個首碼	dtstest	將待同步對象中Key以dtstest開始的資料進行過濾，將其餘資料同步至目標端。
     同步多個首碼	dtsnew,dtsold	只將待同步對象中Key以dtsnew和dtsold開始的資料同步至目標端。
     同步和過濾混用	需要同步的首碼填入：dts 需要過濾的首碼填入：dtstest	只將待同步對象中Key以dts開始，且不以dtstest開始的資料同步至目標端。

   • 來源資料庫類型為MongoDB時：

     在彈出的編輯表對話方塊中，填入過濾條件。

     

     樣本語句

     過濾類型	樣本語句	說明
     其他	{"_id":{$gt:"user100844658590795****",$lte:"user101674868045948****"}}	以使用者ID進行過濾，其中$gt表示大於，$lte表示小於等於。MongoDB過濾條件支援的語句與標準的SQL WHERE語句不同，更多資訊，請參見運算子和SQL語句與MongoDB語句的映射。

   • 來源資料庫為其他類型的資料庫時：

     在彈出的編輯表對話方塊中，填入過濾條件。

     說明

     • 過濾條件支援的操作符有：英文字元=、!=、<、>、in。

     • 若您填寫過濾條件時有疑問，可以先查看常見問題。

     

     樣本語句

     過濾類型	樣本語句	說明
     數值	id > 100 and id <= 200 or id in (1, 2, 3)	過濾id欄位大於100且小於等於200，或id欄位為1、2或3的資料。
     字串	address in('hangzhou','shanghai')	過濾address欄位是hangzhou或shanghai的資料。
     時間	create_time>'2020-01-01'或create_time>'2020-01-01 00:00:00'	過濾2020年之後建立的資料。 重要 不支援填入create_time>'2020'。 DTS對時間類型的資料進行過濾時，使用的是GMT+8時區。若您的時間資料包含時區資訊，需要先將過濾條件的時間轉換為對應GMT+8時區的時間，然後再填入過濾條件。

3. 單擊確定。

4. 根據提示完成後續的任務配置。

後續操作

• 查看過濾語句

  • 當前任務未完成配置：返回到配置任務對象及高級配置階段，在已選擇對象地區框中展開任務同步或遷移的對象，然後按右鍵目標對象，查看過濾條件。

  • 當前任務已完成配置並運行：可以使用建立類似任務或修改同步對象功能，進入配置任務對象及高級配置階段，在已選擇對象地區框中展開任務同步或遷移的對象，然後按右鍵目標對象，查看過濾條件（查看完成後取消任務即可，無需繼續往後執行）。更多資訊，請參見建立類似任務和修改同步對象。

• 修改過濾語句

  • 當前任務未完成配置：返回到配置任務對象及高級配置階段，在已選擇對象地區框中展開任務同步或遷移的對象，然後按右鍵目標對象，修改過濾條件。

  • 當前任務已完成配置並運行：

    • 遷移任務：遷移任務不支援修改過濾條件，您需要重新設定任務。

    • 同步任務：使用修改同步對象功能進入配置任務對象及高級配置階段，在已選擇對象地區框中展開任務同步的對象，然後按右鍵目標對象，修改過濾條件並根據提示完成後續的任務配置。更多資訊，請參見修改同步對象。

常見報錯

若您填寫的過濾條件不正確，任務可能會出現如下報錯，請結合具體報錯資訊和後續操作進行修複。

常見問題

• 為什麼填寫了過濾條件沒有生效？

  過濾條件的語句填寫有誤，或者當前任務是來源資料庫為MongoDB的增量任務（不支援設定過濾條件）。

• 修改過濾條件後，生效範圍是哪些？

  • 當前任務未完成配置：來源資料庫為MongoDB時，僅在全量任務階段生效；來源資料庫為其他類型的資料庫時，全量任務和增量任務階段均生效。

  • 當前任務已完成配置並運行：來源資料庫為MongoDB時，不會生效（不支援）；來源資料庫為其他類型的資料庫時，僅對增量資料生效。

• 是否支援大量設定過濾條件？

  不支援，您可以在多個目標對象中分別填寫過濾條件。

• 是否支援將滿足條件的資料過濾，將其餘資料同步或遷移到目標庫？

  • 來源資料庫類型為Tair/Redis時：支援，您可以填寫需要過濾的首碼，將滿足條件的Key過濾。

  • 來源資料庫為其他類型的資料庫時：不支援，您可以嘗試設定相反的過濾條件以滿足您的過濾需求。例如：您需過濾掉age欄位為25資料，您可以在過濾條件中填入age > 25 or age < 25。

• 若需要過濾的Key有多個，如何填寫過濾條件？

  您可以使用逗號（,）進行分隔。

• 是否可以同時填寫需要同步的首碼和需要過濾的首碼？

  可以，填寫的同步和過濾Key的規則均會生效。

• 過濾條件是否支援調用介面？

  不支援。

相關API