- Published on
EMR YARN 큐 설정과 Spark ACCEPTED 대기 원인을 정리한다. 큐 용량·AM 한도·사용자 제한·노드 라벨을 확인하고, 자원 할당 대기와 Executor 메모리 초과 종료를 구분해 진단한다.
최근 글
Spark·AWS EMR·백엔드 개발 경험과 문제 해결 과정을 기록하는 기술 블로그입니다.
- Published on
EMR에서 이벤트 로그 누적과 함께 History Server 조회 지연·OOM을 겪은 사례를 바탕으로, 로그 보관 정책과 rolling, -Xmx1g 힙 조정을 함께 살펴본다.- Published on
PostgreSQL을 Kubernetes에 띄운 상태에서 출발해 CronJob, 별도 PVC, 30일 보관 정책과 격리된 복원 검증을 구성하고 백업이 보호하는 범위를 확인한다.- Published on
EMR Livy 세션 생성 방법과 starting 대기·생성 실패·타임아웃을 진단한다. REST API의 세션 상태와 YARN app ID, 로그를 연결해 확인하고 세션 재사용과 리소스 정리 방법을 설명한다.- Published on
YARN ApplicationMaster와 Spark Driver의 관계를 cluster·client 모드별로 정리하고, EMR에서 AM 메모리·동시 실행 한도·노드 라벨·장애 재시도를 진단하는 방법을 설명한다.