EMR-3.4.0及後續版本支援Kafka服務。
建立Kafka叢集
如果需要建立包含Kafka的叢集,請登入E-MapReduce新版控制台建立DataFlow類型叢集,建立叢集詳情請參見建立DataFlow Kafka叢集。
本地碟Kafka叢集
當在本地碟上部署Kafka服務時,您需要在E-MapReduce控制台的配置頁面,配置如下參數。
配置項 | 描述 |
default.replication.factor | 固定值為3,表示Topic的副本數為3。 |
min.insync.replicas | 固定值為2,表示副本數大於等於2。 當Producer設定request.required.acks為all或-1,且寫入副本數大於等於2時,資料寫入才能成功。 |
參數說明
您可以在E-MapReduce控制台的配置頁面,查看Kafka的服務配置。
配置項 | 描述 |
zookeeper.connect | Kafka叢集Zookeeper的串連地址。 |
kafka.heap.opts | Kafka Broker的堆記憶體大小。 |
num.io.threads | Kafka Broker的IO線程數,預設為主節點CPU核心數的2倍。 |
num.network.threads | Kafka Broker的網路線程數,預設為主節點的CPU核心數。 |