云消息队列 Kafka 版：集成概述

前提条件

Connector底层基于事件总线和函数计算实现，在使用Connector之前，请确保已开通以下服务。

• 开通事件总线EventBridge并授权

• 开通函数计算服务

• 开通目标服务。例如，创建流出目标端为Tablestore的Sink Connector，请先开通表格存储（Tablestore）服务。

  说明

  若目标服务为日志服务，可不开通函数计算服务。

计费说明

• 事件总线目前处于公测中，免费使用。

• 函数计算的计费说明，请参见计费概述。

权限策略

• 阿里云账号：在控制台创建Connector时，控制台会弹出详细授权策略，按照控制台提示确认授权即可。

• RAM用户：RAM用户至少要求阿里云账号授权以下策略：

  • AliyunKafkaFullAccess：管理云消息队列 Kafka 版的权限。

  • AliyunFCFullAccess：管理函数计算的权限。

  • AliyunEventBridgeFullAccess：管理事件总线的权限。

  • 目标服务的管理权限。

  除上述必要权限外，如需使用扩展能力需额外授权。例如：

  • 如需通过VPC网络访问目标服务，需要被授予AliyunVPCFullAccess权限策略来管理VPC资源。

  • 如需查看函数计算FC（Function Compute）运行日志等信息，需要被授予AliyunLogFullAccess权限策略来管理日志服务。

产品功能

• 集成丰富的数据源

  Connector生态集成旨在打通阿里云公有云、跨云、混合云场景下的数据连接。支持云上多款产品的日志接入、支持用户自建场景的数据源接入、支持跨云场景的数据源接入等。目前已打通日志、数据库、消息中间件等多种场景的数据接入。

• 数据清洗/数据流出

  Connector生态集成提供了强大的、界面化的数据ETL（Extract-Transform-Load）配置能力，方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。

• Serverless自定义处理

  Connector生态集成基于Serverless平台的优势，依托函数计算FC的用户自编码能力，支持用户基于Serverless Function函数计算平台自定义地完成业务逻辑的编写，完成自定义的数据处理分发功能。

使用限制

使用Connector生态集成功能时的限制项如下表所示。

概念介绍—消息流入（Source）

消息流入是消息的数据集成组件。消息流入能够在多种数据源（消息、Log日志、关系型数据和非关系型数据等）之间进行灵活、快速、无侵入式的数据集成。可以实现跨机房、跨数据中心、跨云的数据集成方案，并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至云消息队列 Kafka 版，并且可靠地管理来自不同源头的数据源，同时对来源数据进行筛选和过滤。

概念介绍—消息流出（Sink）

消息流出的主要能力是将云消息队列 Kafka 版的数据流出到各类数据目标，Connector生态集成模块对云消息队列 Kafka 版的消息进行可靠分发，同时在分发时对消息数据进行清洗和过滤。

概念介绍—数据处理（Transform）

数据处理是Connector生态集成的重要功能组件，可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托事件总线EventBridge强大的自研数据处理及灵活的函数计算自定义能力，提供7种匹配模式（指定值匹配、前缀匹配、后缀匹配、除外匹配、数值匹配、数组匹配、复杂组合逻辑匹配）、5种规则转换器（完整事件、部分事件、常量、模板转换器、函数计算模板转换器），可快速实现消息的转换、处理和分析能力。

概念介绍—任务（Task）

任务是运行Connector生态集成的资源实体，也是具体实现。通常情况下，一条任务由源、目标及其配置的过滤规则和转换规则构成。任务的底层资源即事件总线EventBridge的事件流（EventStreaming）功能。

任务包括资源配置和数据处理两部分，资源配置是任务的源及目标的配置信息，是任务的重要组成部分。数据处理请参见概念介绍—数据处理（Transform）。

版本说明

云消息队列 Kafka 版的Connector共有两个版本，若您的阿里云账号未创建过旧版Connector，那么控制台仅展示新版入口；若已创建过旧版Connector任务，控制台会同时展示新版和旧版入口，建议您使用新版Connector。

新旧版本消息流入Connector即Source Connector能力相同，此处对消息流出Connector即Sink Connector能力差异做以下说明。