Apache Spark 운영과 장애 진단

EMR YARN 큐 설정과 Spark ACCEPTED 대기 원인을 정리한다. 큐 용량·AM 한도·사용자 제한·노드 라벨을 확인하고, 자원 할당 대기와 Executor 메모리 초과 종료를 구분해 진단한다.

EMR에서 이벤트 로그 누적과 함께 History Server 조회 지연·OOM을 겪은 사례를 바탕으로, 로그 보관 정책과 rolling, -Xmx1g 힙 조정을 함께 살펴본다.

EMR Livy 세션 생성 방법과 starting 대기·생성 실패·타임아웃을 진단한다. REST API의 세션 상태와 YARN app ID, 로그를 연결해 확인하고 세션 재사용과 리소스 정리 방법을 설명한다.

YARN ApplicationMaster와 Spark Driver의 관계를 cluster·client 모드별로 정리하고, EMR에서 AM 메모리·동시 실행 한도·노드 라벨·장애 재시도를 진단하는 방법을 설명한다.

Amazon EMR의 YARN Node Label 설정과 관리 방식을 정리하고, AM과 Executor가 Core에 몰려 Task 메모리는 남는데 새 AM을 띄우지 못했던 사례를 다룬다.

YARN 스케줄러의 종류와 Capacity Scheduler 및 Fair Scheduler의 차이를 살펴본다. 큐 자원 배분 방식과 Used Capacity 및 Fair Share를 운영 화면에서 읽는 방법을 비교한다.