本文说明如何创建云原生数据湖分析（Data Lake Analytics）Sink Connector，简称DLA Sink Connector，实现将云消息队列 Kafka 版数据同步至DLA分析计算。

前提条件

  • 云原生数据湖分析（DLA）
  • 云消息队列 Kafka 版
    • 已创建实例。具体操作，请参见创建实例。
    • 已创建Topic。具体操作，请参见创建Topic。
    • 已给创建的Topic发送消息。具体操作，请参见发送消息。

创建DLA Sink Connector

  1. 登录云消息队列 Kafka 版控制台。
  2. 在概览页面的资源分布区域，选择地域。
  3. 在左侧导航栏，单击Connector 任务列表。
  4. 在Connector 任务列表页面，从选择实例的下拉列表选择Connector所属的实例，然后单击创建 Connector。
  5. 在创建 Connector配置向导页面，完成以下操作。
    1. 在配置基本信息页签，按需配置以下参数，然后单击下一步。
      参数描述示例值
      名称Connector的名称。命名规则：
      • 可以包含数字、小写英文字母和短划线（-），但不能以短划线（-）开头，长度限制为48个字符。
      • 同一个云消息队列 Kafka 版实例内保持唯一。

      Connector的数据同步任务必须使用名称为connect-任务名称的Group。如果您未手动创建该Group，系统将为您自动创建。

      		dla-test
      实例默认配置为实例的名称与实例ID。demo alikafka_post-cn-st21p8vj****
    2. 在配置源服务页签，选择数据源为消息队列Kafka版，并配置以下参数，其余配置运行环境参数无需关注，然后单击下一步。
      参数描述示例值
      数据源 Topic需要同步数据的Topic名称。dla-test
      消费初始位置开始消费的位置。取值说明如下：
      • 最早位点：从最初位点开始消费。
      • 最近位点：从最新位点开始消费。
      		最早位点
    3. 在配置目标服务页签，选择目标服务为实时日志数据湖分析，并配置以下参数，然后单击创建。
      参数描述示例值
      库名同步至DLA的库名称，不能和已有库同名。库名以字符开头，可包含字符、数字、下划线（_）。dla_fromkafka
      表名同步至DLA的表名。默认使用云消息队列 Kafka 版的Topic名称作为表名，且把除去字母及数字的字符替换为下划线（_）。例如Topic名称为dla-test，表名默认变更为dla_test。dla_test
    4. 在使用必读：创建尚未完成，请在 DLA 控制台完成配置！对话框，认真阅读提示信息，单击立即配置，跳转至Data Lake Analytics控制台。
  6. 如果没有创建湖仓， 跳转至Lakehouse湖仓一体化页面，创建入湖湖仓；如果已经创建湖仓，跳转至新建工作负载页面，在Kafka数据源页签，创建入湖工作负载，并启用工作负载进行数据分析。
    在云消息队列 Kafka 版控制台的Connector 任务列表页面，您也可以查看创建的DLA Sink Connector任务。在操作列，还可以进行以下操作：
    • 单击详情，您可以查看DLA Sink Connector任务的配置信息。
    • 单击查看任务，跳转至Data Lake Analytics控制台，启用工作负载进行数据分析。
    • 单击删除，您可以清理任务。