云消息队列 Kafka 版提供全托管、免运维的Connector,用于云消息队列 Kafka 版和其他阿里云服务之间的数据同步。本文介绍Connector支持的数据同步任务的类型、使用流程、使用限制以及跨地域数据同步。
云消息队列 Kafka 版的Connector组件处于公测阶段,且独立于云消息队列 Kafka 版实例,因此不会在云消息队列 Kafka 版侧产生费用。同时,阿里云不承诺Connector的SLA,使用Connector所依赖的其他产品的SLA和费用说明请以对应产品为准。
Connector类型
云消息队列 Kafka 版支持以下两大类的Connector:
Sink Connector:Sink代表数据向外流转,即云消息队列 Kafka 版为数据源,其他产品为数据目标。
Connector
描述
文档
FC Sink Connector
将数据从云消息队列 Kafka 版导出,同步至函数计算。
MaxCompute Sink Connector
将数据从云消息队列 Kafka 版导出,同步至大数据计算服务MaxCompute。
OSS Sink Connector
将数据从云消息队列 Kafka 版导出,同步至对象存储OSS。
Elasticsearch Sink Connector
将数据从云消息队列 Kafka 版导出,同步至阿里云Elasticsearch。
DLA Sink Connector
将数据从云消息队列 Kafka 版导出,同步至云原生数据湖分析DLA(Data Lake Analytics)。
Tablestore Sink Connector
将数据从云消息队列 Kafka 版实例的数据源Topic导出,同步至表格存储(Tablestore)。
AnalyticDB Sink Connector
将数据从云消息队列 Kafka 版实例的数据源Topic导出,同步至云原生数据仓库 AnalyticDB MySQL 版或云原生数据仓库 AnalyticDB PostgreSQL 版。
Source Connector:Source代表数据向内流转,即云消息队列 Kafka 版为数据目标,其他产品为数据源。
Connector
描述
文档
MySQL Source Connector
将数据从阿里云数据库RDS MySQL版导出,同步至云消息队列 Kafka 版。
使用流程
Connector的使用流程如下:
使用限制
云消息队列 Kafka 版对Connector的限制如下:
项目 | 限制值 |
数量 | 单实例最多创建20个。您可以创建多个Connector任务将同一实例的数据导出到不同的服务中。 |
地域 | 该功能目前有个别地域未开通。具体信息,请参见开服地域。 |
跨地域数据同步
如果您需要将某个地域的数据,通过Connector同步到另一个地域的阿里云服务,您需要为该Connector开启公网访问,然后在公网进行数据同步。具体操作步骤,请参见为Connector开启公网访问。
MySQL Source Connector的跨地域数据同步比较特殊,需要您自行开通企业网。更多信息,请参见创建MySQL Source Connector。