本文為您介紹在阿里雲E-MapReduce上建立及配置Kafka叢集的方法與相關注意事項。
建立Kafka叢集
如果需要建立包含Kafka的叢集，請登入E-MapReduce新版控制台建立DataFlow類型叢集，建立叢集詳情請參見建立DataFlow Kafka叢集。
說明
EMR-5.18.0及之後版本、EMR-3.52.0及之後版本將不再支援Kafka服務。建議使用阿里雲的雲訊息佇列 Kafka 版或自行進行安裝。
本地碟Kafka叢集
當在本地碟上部署Kafka服務時，您需要在E-MapReduce控制台的配置頁面，配置如下參數。
配置項 | 描述 |
default.replication.factor | 固定值為3，表示Topic的副本數為3。 |
min.insync.replicas | 固定值為2，表示副本數大於等於2。 當Producer設定request.required.acks為all或-1，且寫入副本數大於等於2時，資料寫入才能成功。 |
參數說明
您可以在E-MapReduce控制台的配置頁面，查看Kafka的服務配置。
配置項 | 描述 |
zookeeper.connect | Kafka叢集Zookeeper的串連地址。 |
kafka.heap.opts | Kafka Broker的堆記憶體大小。 |
num.io.threads | Kafka Broker的IO線程數，預設為主節點CPU核心數的2倍。 |
num.network.threads | Kafka Broker的網路線程數，預設為主節點的CPU核心數。 |