Memory

EMR에서 이벤트 로그 누적과 함께 History Server 조회 지연·OOM을 겪은 사례를 바탕으로, 로그 보관 정책과 rolling, -Xmx1g 힙 조정을 함께 살펴본다.

YARN ApplicationMaster와 Spark Driver의 관계를 cluster·client 모드별로 정리하고, EMR에서 AM 메모리·동시 실행 한도·노드 라벨·장애 재시도를 진단하는 방법을 설명한다.

Amazon EMR의 YARN Node Label 설정과 관리 방식을 정리하고, AM과 Executor가 Core에 몰려 Task 메모리는 남는데 새 AM을 띄우지 못했던 사례를 다룬다.