All Posts

EMR YARN 큐 설정과 Spark ACCEPTED 대기 원인을 정리한다. 큐 용량·AM 한도·사용자 제한·노드 라벨을 확인하고, 자원 할당 대기와 Executor 메모리 초과 종료를 구분해 진단한다.

EMR에서 이벤트 로그 누적과 함께 History Server 조회 지연·OOM을 겪은 사례를 바탕으로, 로그 보관 정책과 rolling, -Xmx1g 힙 조정을 함께 살펴본다.

PostgreSQL을 Kubernetes에 띄운 상태에서 출발해 CronJob, 별도 PVC, 30일 보관 정책과 격리된 복원 검증을 구성하고 백업이 보호하는 범위를 확인한다.

EMR Livy 세션 생성 방법과 starting 대기·생성 실패·타임아웃을 진단한다. REST API의 세션 상태와 YARN app ID, 로그를 연결해 확인하고 세션 재사용과 리소스 정리 방법을 설명한다.

YARN ApplicationMaster와 Spark Driver의 관계를 cluster·client 모드별로 정리하고, EMR에서 AM 메모리·동시 실행 한도·노드 라벨·장애 재시도를 진단하는 방법을 설명한다.