[스파크 완벽 가이드] 18장 - 모니터링

어떤 컴포넌트를 모니터링해야 할까?

• 스파크 애플리케이션 잡 - 클러스터에서 사용자 애플리케이션이 실행되는 상황을 파악하거나 디버깅하려면 가장 먼저 스파크 UI와 스파크 로그를 확인해야 한다.
• JVM - 스파크는 모든 익스큐터를 개별 JVM에서 실행하기 때문에 코드가 실행되는 과정을 이해하기 위해 각 JVM을 모니터링해야 한다.
• OS와 머신 - JVM은 호스트의 OS에서 실행되기 때문에 머신의 상태를 모니터링해야 한다.
• 클러스터 - YARN, MESOS, 스탠드얼론 클러스터 매니저가 대상이 된다.