스파크의 기본 아키텍처클러스터는 여러 컴퓨터의 자원을 모아 하나의 컴퓨터처럼 사용할 수 있게 만든다.클러스터는 클러스터 매니저에서 관리하는데, 그 예로 Standalone, YARN, Mesos, Kubernetes 등이 있다. 사용자가 클러스터 매니저에게 스파크 애플리케이션 제출클러스터 매니저는 필요한 자원 할당할당 받은 자원으로 작업 처리 스파크 애플리케이션스파크 애플리케이션은 위와 같이 드라이버와 다수의 익스큐터로 구성된다.드라이버 - 클러스터 노드 중 하나에서 실행되며 main() 함수 실행익스큐터 - 드라이버가 할당한 작업 수행 및 보고 DataFrameDataFrame은 테이블의 데이터를 로우와 컬럼으로 단순하게 표현했고, Spark 뿐 아니라 Python이나 R에도 존재한다.하지만 Spark..