全部產品
Search
文件中心

ApsaraDB for OceanBase:建立 Kafka 資料來源

更新時間:Oct 17, 2024

配置好資料來源是建立資料移轉或資料同步任務的前提。本文為您介紹如何在資料轉送中建立 Kafka 資料來源。

安全風險提醒

使用 OceanBase Data Transmission Service,您可以選擇自動添加或手動添加 OceanBase Data Transmission Service的公網 IP 位址段,但可能存在安全風險。一旦使用本產品代表您已理解和確認其中可能存在的安全風險,並且您需要採取基本的安全防護措施,包括但不限於加強帳號密碼的複雜度、限制各網段開放的連接埠號碼、內部 API 採用鑒權方式進行通訊,或者定期檢查並限制無需訪問的 IP 位址段。

OceanBase Data Transmission Service會根據業務需求和安全風險等因素對自動添加的白名單或安全性群組進行調整操作(增加或刪除),請勿將白名單或安全性群組中的 IP 位址段應用於非 OceanBase Data Transmission Service的業務需求。如果因為您將其應用於其他業務需求導致的問題,不在 OceanBase Data Transmission Service的 SLA 保障範圍內。OceanBase Data Transmission Service自動或手動添加的白名單或安全性群組,請參見 OceanBase Data Transmission Service 添加白名單 模組的文檔。

使用限制

資料轉送僅支援 Kafka 資料來源作為資料同步的目標端。

背景資訊

資料轉送的安全問題,貫穿服務連通性驗證、鏈路建立和資料轉送過程。基於 Kafka 服務提供的安全體系,資料轉送在資料加密和使用者認證上均有一定的支援,以滿足絕大部分安全需求。

資料轉送支援的 Kafka 認證方式包括:

  • GSSAPI

    GSSAPI(Generic Security Services Application Program Interface)是通用安全服務應用程式介面。GSSAPI 是一個以通用方式為調用方提供安全服務的架構,該架構也支援實現 Kerberos 協議。

  • PLAIN

    PLAIN 認證方式較為簡單,但無法動態變更使用者,且明文配置使用者名稱和密碼,安全性不高。

  • SCRAM-SHA-256

    SCRAM(Salted Challenge Response Authentication Mechanism)認證方式通過執行使用者名稱和密碼認證的傳統機制來解決安全問題。Kafka 支援 SCRAM-SHA-256,可以和 TLS 一起使用執行安全認證。

    該認證方式可以實現動態變更使用者,使用者資料存放區在 Zookeeper 中。啟動 Broker 前,需要先與 Zookeeper 通訊,建立和 Broker 之間的通訊使用者。但該認證方式需要明文配置使用者名稱和密碼。

  • SCRAM-SHA-512

    Kafka 支援 SCRAM-SHA-512,可以與 TLS 一起使用執行安全認證。

操作步驟

  1. 登入 OceanBase 管理主控台

  2. 在左側導覽列,單擊 資料轉送 > 資料來源管理

  3. 資料來源列表 頁面,單擊右上方的 建立資料來源

    image.png

  4. 建立資料來源 對話方塊,選擇 資料來源類型Kafka

    image.png

  5. 選擇 執行個體類型,配置各項參數。

    • 選擇 阿里雲 Kafka 執行個體 時,配置參數如下。

      參數

      描述

      資料來源標識

      建議使用中文、數字和字母的組合。名稱中不能包含空格,長度限制為 32 個字元。

      是否跨阿里雲主帳號

      資料轉送支援對不同阿里雲主帳號下的執行個體配置資料移轉或資料同步任務,實現跨阿里雲主帳號的資料移轉或資料同步。

      您可以根據業務需求選擇是否勾選。如果勾選,請輸入對方阿里雲主帳號。如果不具備該主帳號的許可權,請先申請授權。授權詳情請參見 申請跨帳號授權

      Kafka 執行個體 ID

      使用者申請 Kafka 執行個體的唯一 ID。

      存取點

      Kafka 伺服器 IP 位址及連接埠列表,系統會自動匯入。

      使用者名稱

      Kafka 的登入使用者名稱。

      密碼

      Kafka 的登入密碼。

      備忘(可選)

      資料來源的備忘資訊。

    • 選擇 VPC 內自建 Kafka 執行個體公網 Kafka 執行個體 時,配置參數如下。

      參數

      描述

      資料來源標識

      建議使用中文、數字和字母的組合。名稱中不能包含空格,長度限制為 32 個字元。

      是否跨阿里雲主帳號

      資料轉送支援對不同阿里雲主帳號下的執行個體配置資料移轉或資料同步任務,實現跨阿里雲主帳號的資料移轉或資料同步。

      您可以根據業務需求選擇是否勾選。如果勾選,請輸入對方阿里雲主帳號。如果不具備該主帳號的許可權,請先申請授權。授權詳情請參見 申請跨帳號授權

      重要

      選擇執行個體類型為 公網 Kafka 執行個體 時,不會顯示該參數。

      VPC

      從下拉式清單中選擇使用者申請公用雲端 VPC 的唯一 ID。

      重要

      僅選擇執行個體類型為 VPC 內自建 Kafka 執行個體 時,會顯示該參數。

      VPC 內部署/跨網路部署

      跨網路部署是指源端和目標端資料來源位於不同的網路(包含不同的 VPC 或雲端服務供應商)。請根據業務需求,選擇 VPC 內部署跨網路部署,並在 交換器 下拉式清單中選擇 Kafka 服務所有 bootstrap serverbroker server 所在的交換器。同時,請將交換器網段一併加入至當前 VPC 的安全性群組白名單內。

      交換器(vSwitch)是組成Virtual Private Cloud 的基礎網路模組,用於串連不同的雲資源執行個體。詳情請參見 交換器概述

      重要
      • 僅選擇執行個體類型為 VPC 內自建 Kafka 執行個體 時,支援選擇部署方式和交換器。

      • 跨網路部署時,靜態路由地址(其它雲或線下機房 VPC 中的地址或網段)會根據選擇的第一個交換器自動關聯處理。

      存取點

      輸入 Kafka 伺服器 IP 位址及連接埠列表。

      啟用 SSL

      根據業務需求,選擇是否啟用 SSL。如果啟用,請單擊 上傳檔案,上傳尾碼名為 .jks 的授信認證。

      開啟認證

      根據業務需求,選擇是否開啟認證。Kafka 提供了資料加密和多種身份認證機制的配置來保證使用者資料和服務的安全。

      認證方式

      如果開啟認證,則需要選擇認證方式。目前資料轉送支援的認證方式包括 GSSAPI、PLAIN、SCRAM-SHA-256 和 SCRAM-SHA-512。

      KDC 伺服器位址

      輸入 Kerberos 的伺服器 KDC 的 IP 或網域名稱。

      請注意:僅選擇認證方式為 GSS-API 時,才會顯示該參數。

      使用者主體

      輸入使用者名稱。

      請注意:僅選擇認證方式為 GSS-API 時,才會顯示該參數。

      keytab 檔案

      單擊 上傳檔案,上傳尾碼名為 .keytab 的密鑰檔案。

      請注意:僅選擇認證方式為 GSS-API 時,會顯示該參數。

      使用者名稱

      請注意用於資料移轉或資料同步的使用者名稱稱。

      請注意:選擇認證方式為 GSS-API 時,不會顯示該參數。

      密碼

      用於資料移轉或資料同步的使用者密碼。

      請注意:選擇認證方式為 GSS-API 時,不會顯示該參數。

      備忘(可選)

      資料來源的備忘資訊。

  6. 單擊 測試連接,驗證資料轉送和資料來源的網路連接,以及使用者名稱和密碼的有效性。

  7. 測試連接通過後,單擊 確定