全部產品
Search
文件中心

E-MapReduce:概述

更新時間:Jul 01, 2024

EMR-3.4.0及後續版本支援Kafka服務。

建立Kafka叢集

如果需要建立包含Kafka的叢集,請登入E-MapReduce新版控制台建立DataFlow類型叢集,建立叢集詳情請參見建立DataFlow Kafka叢集

本地碟Kafka叢集

當在本地碟上部署Kafka服務時,您需要在E-MapReduce控制台的配置頁面,配置如下參數。
配置項描述
default.replication.factor固定值為3,表示Topic的副本數為3。
min.insync.replicas固定值為2,表示副本數大於等於2。

當Producer設定request.required.acks為all或-1,且寫入副本數大於等於2時,資料寫入才能成功。

參數說明

您可以在E-MapReduce控制台的配置頁面,查看Kafka的服務配置。
配置項描述
zookeeper.connectKafka叢集Zookeeper的串連地址。
kafka.heap.optsKafka Broker的堆記憶體大小。
num.io.threadsKafka Broker的IO線程數,預設為主節點CPU核心數的2倍。
num.network.threadsKafka Broker的網路線程數,預設為主節點的CPU核心數。