Kafka(仅对存量用户开放)

更新时间:2025-03-03 06:58

本文为您介绍在阿里云E-MapReduce上创建及配置Kafka集群的方法与相关注意事项。

创建Kafka集群

如果需要新建包含Kafka的集群,请登录E-MapReduce新版控制台创建DataFlow类型集群,创建集群详情请参见创建DataFlow Kafka集群

说明

EMR-5.18.0及之后版本、EMR-3.52.0及之后版本将不再支持Kafka服务。建议使用阿里云的云消息队列 Kafka 版或自行进行安装。

本地盘Kafka集群

当在本地盘上部署Kafka服务时,您需要在E-MapReduce控制台的配置页面,配置如下参数。

配置项

描述

配置项

描述

default.replication.factor

固定值为3,表示Topic的副本数为3。

min.insync.replicas

固定值为2,表示副本数大于等于2。

当Producer设定request.required.acks为all或-1,且写入副本数大于等于2时,数据写入才能成功。

参数说明

您可以在E-MapReduce控制台的配置页面,查看Kafka的服务配置。

配置项

描述

配置项

描述

zookeeper.connect

Kafka集群Zookeeper的连接地址。

kafka.heap.opts

Kafka Broker的堆内存大小。

num.io.threads

Kafka Broker的IO线程数,默认为主节点CPU核数的2倍。

num.network.threads

Kafka Broker的网络线程数,默认为主节点的CPU核数。

  • 本页导读 (1)
  • 创建Kafka集群
  • 本地盘Kafka集群
  • 参数说明
文档反馈
phone 联系我们

立即和Alibaba Cloud在线服务人员进行交谈,获取您想了解的产品信息以及最新折扣。

alicare alicarealicarealicare