Realtime Compute for Apache Flink：管理自訂連接器

注意事項

• 您需要根據社區定義的連接器標準開發您自訂的連接器，才能正確地被Realtime ComputeFlink版識別並使用，因此您需要明確連接器Meta檔案和聲明Factory類。自訂連接器開發詳情請參見User-defined Sources & Sinks。

• 同種類型的連接器僅可以上傳一次。

• 為了避免JAR包依賴衝突，您還需要注意以下幾點：

  • Flink鏡像和Pom依賴的Flink版本請保持一致。

  • 請不要上傳Runtime層的JAR包，即在依賴中添加<scope>provided</scope>。

  • 其他第三方依賴請採用Shade方式打包，Shade打包詳情參見Apache Maven Shade Plugin。

上傳與使用自訂連接器

1. 進入自訂連接器註冊入口。

   1. 登入Realtime Compute控制台。

   2. 單擊目標工作空間操作列下的控制台。

   3. 在左側導覽列，單擊連接器。

2. 註冊自訂連接器。

   1. 在連接器頁面，單擊建立自訂連接器。

   2. 上傳自訂連接器JAR檔案。

      您可以通過以下任何一種方式上傳自訂連接器JAR檔案：

      • 上傳檔案：單擊選擇檔案後，選擇您的目標連接器JAR檔案。

      • 外部URL：當需要使用其他服務上存在的JAR檔案時，可以使用外部URL功能擷取JAR檔案。例如，https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jar

        說明

        僅支援以下兩類外部URL：

        • 開通Flink工作空間時選擇的OSS Bucket地址。您可以在Realtime Compute管理主控台目標工作空間詳情中查看綁定的OSS Bucket。

        • Realtime ComputeFlink版可以訪問且被允許訪問（公用讀取或被授予許可權）的其他外部儲存系統地址。

   3. 上傳完成後，單擊下一步。

      系統會對您上傳的自訂連接器內容進行解析。如果解析成功，您可以繼續下一步。如果解析失敗，請確認您上傳的自訂連接器代碼是否符合Flink社區標準。

   4. 單擊完成。

      建立完成的自訂連接器會出現在連接器列表中。

3. 在作業DDL中使用連接器。

   作業開發詳情請參見SQL作業開發。

   說明

   WITH參數中的連接器取值為您自訂連接器JAR包中DynamicTableFactory的identifier參數取值，其他WITH參數及含義詳情由您開發的自訂連接器決定。

更新自訂連接器

1. 進入自訂連接器更新入口。

   1. 登入Realtime Compute控制台。

   2. 單擊目標工作空間操作列下的控制台。

   3. 在左側導覽列，單擊連接器。

2. 在自訂連接器頁簽，單擊目標自訂連接器名稱右側的編輯。

3. 上傳自訂連接器JAR檔案。

   您可以通過以下任何一種方式上傳自訂連接器JAR檔案：

   • 上傳檔案：單擊選擇檔案後，選擇您的目標連接器JAR檔案。

   • 外部URL：輸入外部URL地址。例如，https://ossbucket/artifacts/namespaces/flink-default/flink-jobs-1.0-SNAPSHOT.jar

     說明

     僅支援以下兩類外部URL：

     • 開通Flink工作空間時選擇的OSS Bucket地址。您可以在Realtime Compute管理主控台目標工作空間詳情中查看綁定的OSS Bucket。

     • Realtime ComputeFlink版可以訪問且被允許訪問（公用讀取或被授予許可權）的其他外部儲存系統地址。

4. 上傳完成後，單擊下一步。

   系統會對您上傳的自訂連接器內容進行解析。如果解析成功，您可以繼續下一步。如果解析失敗，請確認您上傳的自訂連接器代碼是否符合Flink社區標準。

5. 單擊完成。

相關文檔

• Flink內建了豐富的連接器，支援的內建連接器詳情請參見支援的連接器。

• 使用社區版CDC連接器，詳情請參見社區版CDC連接器使用方法。

• Flink提供了中繼資料管理，您可以通過建立Catalog來管理和訪問相關的中繼資料，詳情請參見管理中繼資料。