當您使用阿里雲E-MapReduce(簡稱EMR)on ACK 時,可以根據本文尋找對應的問題情境和解決方案。
為什麼當ShuffleServiceMaster組件中容器組數量為1時,無法啟動?
為了保證高可用和正常運行,建議至少將該組件的容器組數量配置為3個。這是因為多副本部署能夠確保即使在部分執行個體故障的情況下,整個服務依然能夠保持穩定運行和服務要求。因此,為了叢集的穩定性與可靠性,您應當設定ShuffleServiceMaster容器組的副本數至少為3個。
ACK叢集中部署了3個ShuffleServiceWorker,但在服務詳情頁ShuffleServiceWorker組件的容器組數量顯示為“3/4”,這是為什嗎?
這是因為ShuffleServiceWorker組件在設計上,當配置的容器組數量未達到1000個時,總會保留一個Pod處於Pending狀態,因此,在您部署了3個ShuffleServiceWorker執行個體的情況下,服務詳情會顯示為“3/4”,這屬於正常現象。
ACK管控控制台中,“有狀態”介面下的shuffleservice-worker容器組數量"3/1000"是什麼含義?
"3/1000"表示當前ShuffleService-Worker的執行個體數量為3個,而叢集的最大可擴充容量上限為1000個。如果還有類似的警示資訊,可以直接忽略。
0/18 nodes are available: 13 node(s) didn't match Pod's node affinity/selector, 2 node(s) had untolerated taint {ingress-pod: yes}, 3 node(s) didn't match pod anti-affinity rules. preemption: 0/18 nodes are available: 15 Preemption is not helpful for scheduling, 3 No preemption victims found for incoming pod., , preemption: 0/18 nodes are available: 15 Preemption is not helpful for scheduling, 3 No preemption victims found for incoming pod..EMR on ACK是否允許訪問不同的OSS Bucket?
不允許,叢集只能對其綁定的OSS Bucket進行讀寫操作。如果在綁定了Bucket A的EMR on ACK叢集執行Spark作業嘗試讀寫另一個Bucket B時,將會出現訪問拒絕錯誤:“AccessDenied The bucket you access does not belong to you”。