云消息队列 Kafka 版_Apache Kafka_大数据分析

0.0.201

云消息队列 Kafka 版 Play Video

开箱即用的Apache Kafka全托管服务，帮您快速建立大数据分析数据通道。

立即购买管理控制台联系销售

{"moduleinfo":{"rightBtn":{"text":"立即购买","url":"https://account.alibabacloud.com/login/login.htm?oauth_callback=https%3A%2F%2Fcommon-buy-intl.aliyun.com%2F%3FcommodityCode%3Dalikafka_pre_public_intl%23%2Fbuy","partnerAddress":"http://bca.org/kojubtqke","output4Partner":false,"hideForReseller":true},"iframeResizerUrl":"//g.alicdn.com/aliyun/www-product-ecs-price/0.0.18/iframeResizer.js","highlightAutoNav":true},"nav":[{"txt":"产品概览","anchor":[{"name":"hmod-alicloud-product-ecs-advanced"},{"name":"hmod-alicloud-product-ecs-resource"},{"name":"hmod-wb-alicloud-database-news__0-0-7"},{"name":"hmod-wb-alicloud-database-with-text__0-0-2"},{"name":"hmod-ace-alicloud-floor-icon"}],"newWindow":false,"newAddress":"/","partnerAddress":"http://bca.org/kojubtqke","output4Partner":false,"highlight":true},{"txt":"产品定价","newAddress":"","anchor":[{"name":"hmod-alicloud-product-v3-pricing__0-0-21"}],"output4Partner":false},{"txt":"产品文档","anchor":[],"newWindow":true,"output4Partner":false,"newAddress":"https://www.alibabacloud.com/help/zh/product/68138.htm","partnerAddress":"http://qccyivh.org/jkdirgro"}],"$root":{"moduleinfo":{"rightBtn":{"text":"立即购买","url":"https://account.alibabacloud.com/login/login.htm?oauth_callback=https%3A%2F%2Fcommon-buy-intl.aliyun.com%2F%3FcommodityCode%3Dalikafka_pre_public_intl%23%2Fbuy","partnerAddress":"http://bca.org/kojubtqke","output4Partner":false,"hideForReseller":true},"iframeResizerUrl":"//g.alicdn.com/aliyun/www-product-ecs-price/0.0.18/iframeResizer.js","highlightAutoNav":true},"nav":[{"txt":"产品概览","anchor":[{"name":"hmod-alicloud-product-ecs-advanced"},{"name":"hmod-alicloud-product-ecs-resource"},{"name":"hmod-wb-alicloud-database-news__0-0-7"},{"name":"hmod-wb-alicloud-database-with-text__0-0-2"},{"name":"hmod-ace-alicloud-floor-icon"}],"newWindow":false,"newAddress":"/","partnerAddress":"http://bca.org/kojubtqke","output4Partner":false,"highlight":true},{"txt":"产品定价","newAddress":"","anchor":[{"name":"hmod-alicloud-product-v3-pricing__0-0-21"}],"output4Partner":false},{"txt":"产品文档","anchor":[],"newWindow":true,"output4Partner":false,"newAddress":"https://www.alibabacloud.com/help/zh/product/68138.htm","partnerAddress":"http://qccyivh.org/jkdirgro"}]},"$moduleId":"3754212000"}

产品概览
产品概览
产品概览
产品定价
产品定价
产品文档
产品文档

立即购买

轻松构建Kafka集群

阿里云云消息队列 Kafka 版为您提供增强型全托管 Apache Kafka 集群服务，使您免于集群配置、故障运维、补丁升级、数据持久化、弹性伸缩、资源管控、监控报警等基础设施难题，享受更加便捷的排查体验，将更多的精力投入到应用开发中。

开箱即用, 兼容开源

开箱即用，无缝迁移，帮助您的业务快速上云。

全托管服务

专业的且经验丰富的运维团队，提供体系化的产品运维。

高可用性

阿里云消息产品研发与性能优化团队，进一步优化开源产品长期以来的痛点，提供更优质的服务。

无需繁琐配置，快速部署业务

开源自建日常运维难度大、配置繁琐，您可能经常面临以下挑战：

数据丢失与可用性抉择
需要运维依赖集群
需要维护机器状态
维护硬件环境
规格变更困难
开源产品带来的未知异常

消息队列 Kafka 版提供的能力：

支持自动巡检、自动告警、自恢复机制
磁盘到达85%水位自动清理
系统自动恢复
支持秒级一键扩容
阿里云为您定位和处理开源bug

精心打造的功能

开箱即用, 兼容开源

开箱即用，无缝迁移，帮助您的业务快速上云。

开箱即用

兼容开源社区 Kafka（0.10.x～ 2.2.x版本），全面兼容 Kafka 开源客户端。

无缝迁移

基于现有的开源 Apache Kafka 生态的代码，无需任何改造，即可无缝迁移上云。

生态丰富

开源与云服务相结合，全面融合 Kafka 开源社区生态，以及阿里云平台大数据产品生态。

全托管服务

专业的且经验丰富的运维团队，提供体系化的产品运维，您可以专注于创建流应用程序，而无需担心管理 Apache Kafka 环境的运营开销。

免运维

消息队列 Kafka 版为您管理 Apache Kafka 集群和 Apache ZooKeeper 节点的预置、配置和维护。

HouseKeeping（健康巡检组件）

Kafka 核心链路运行时巡检，每分钟会对集群做一次全面扫描诊断并健康预警，保障底层机器安全。

业务监控与告警

支持实例、消息堆积、TPS 等多维度监控与告警设置，帮助您及时发现问题。

高可用性

阿里云消息产品研发与性能优化团队，进一步优化开源产品长期以来的痛点，提供更优质的服务。

高可靠/高可用

跨可用区、多副本数据冗余，数据可靠性 99.999999%，服务可用性 99.9%。

海量消息堆积

在海量消息堆积的情况下，始终保持 Kafka 集群的消息收、发的高吞吐能力。

弹性伸缩

可根据业务规模按需扩容，Broker、Topic、分区横向伸缩，上层业务无感知。

数据安全

提供鉴权与授权机制、主子账号等功能，提供企业级的安全防护。

访问控制

VPC 网络隔离，对每次消息收、发请求进行安全访问控制，确保消息的安全性。

主子账号

全面支持 RAM 主子账号、黑白名单、STS 等功能，提供授权能力。

数据安全

SASL 用户身份认证与 SSL 加密传输，确保数据传输过程中不被窃取或篡改，保证您的数据的安全。

构建日志分析平台
网站活动跟踪场景
数据中转枢纽

构建日志分析平台

日志聚合

Kafka 性能高效，同时 Kafka 的特性决定它非常适合作为"日志收集中心"：
1. 采集日志时业务无感知；
2. Hadoop/ODPS 等离线仓库存储和 Storm/Spark 等实时在线分析对接；

主要解决的问题

应用与分析解耦 -构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。

在线/离线分析系统 - 支持实时在线分析系统和类似于Hadoop之类的离线分析系统。

网站活动跟踪场景

高吞吐，大数据集成

通过消息队列 Kafka 可以实时收集网站活动数据（包括用户浏览页面、搜索及其他行为等）。
发布-订阅的模式可以根据不同的业务数据类型，将消息发布到不同的 Topic；还可通过订阅消息的实时投递，将消息流用于实时监控与业务分析或加载到 Hadoop、ODPS 等离线数据仓库系统进行离线处理。

主要解决的问题

高吞吐
-网站所有用户产生的行为信息极为庞大，需要非常高的吞吐量来支持。

大数据分析
- 可无缝堆积Kafka 开源生态包含的大数据产品，包括对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 大数据计算引擎，极易构建大数据架构。

数据中转枢纽

多路转发

您可以利用Kafka 作为数据中转枢纽，同份数据可以被导入到不同专用系统中，例如KV存储（HBase）、搜索（ElasticSearch）、流式处理（Storm/Spark Streaming/Samza）、时序数据库（OpenTSDB）等。

主要解决的问题

一对多消费模型-发布/订阅模型，支持同份数据集能同时被消费多次。

同时支持实时和批处理-本地数据持久以及PageCache，在无性能损耗的情况下能同时传递多个计算引擎。

产品定价

2020年5月1号零点整 UTC+08:00之后进行商业化并开始收费。

消息队列 Kafka 支持订阅购买方式

具体计费方式：点此详见文档

版本

版本上分为：标准版 (逻辑隔离的共享集群) 和专业版 (物理专享版本 )

表1 标准版和专业版的差别：

版本	标准版	专业版
隔离	逻辑隔离的共享集群	物理专享版本
支持版本	短期内只能支持0.10.x系列	支持0.10.x,1.x，2.x系列主流版本
容灾	只支持单可用区	具备更高的容灾可靠性，同城容灾方面支持多可用区部署
运维	全托管，提供基础运维特性	即将上线高级特性如大消息下载，低RT，更细粒度监控报警。后续消息查询、等高级特性也会先在专业版上提供服务。
容量	基础的Topic及分区数量	支持更大规模的Topic数量，分区数量

计费公式

总计费 =（流量峰值单价 + 磁盘容量单价 x 购买的磁盘容量/100 + Topic 单价 x 增加的 Topic 数量）x 月数

表2-1 流量峰值计费规则（标准版）

流量峰值（MB/s）	Topic 数量（个）	分区数量（个）	Region1 (美元/月）	Region2 (美元/月）	Region3 (美元/月）
20	50	400	250	370	340
30	50	500	360	530	480
60	80	600	520	760	700
90	100	800	660	960	880
120	150	900	800	1160	1070

表2-2 流量峰值计费规则（专业版）

流量峰值（MB/s）	Topic 数量（个）	分区数量（个）	Region1 (美元/月）	Region2 (美元/月）	Region3 (美元/月）
20	50	1100	600	870	800
30	50	1200	780	1040	1040
60	80	1040	1130	1510	1510
90	100	1600	1440	1920	1920
120	150	1800	1750	2330	2330
160	180	2000	2060	2740	2740
200	200	2200	2980	3970	3970
250	250	2500	3430	4570	4570
300	300	3000	3880	5170	5170
600	450	4500	5280	7030	7030
800	500	5000	6220	8280	8280
1000	600	6000	7270	9670	9670
1200	700	7000	8100	10780	10780
1500	800	8000	9500	12640	12640
1800	900	9000	10910	14520	14520
2000	1000	10000	12070	16060	16060