Spark에 대한 기본적인 이론과 컨테이너 환경 위에서 Spark Cluster 환경을 구성하는 내용이 담긴 레포지토리입니다.
- spark-on-docker
- bitnami에서 제공하는 이미지를 활용하여 docker-compose로 Spark환경 구성한 내용입니다.
- spark-on-k8s
- Kuberbetes 환경 위에서 Spark를 구성한 내용입니다.
2-1. Kubernetes Cluster 구성
2-2. Spark Operator 구성 및 작업 제출
2-3. Event Log 설정
2-4. Spark History Server 구성
2-5. Jupyer Notebook 구성
2-6. Jupyter Hub 구성
- spark-on-eks(작성중)
spark-on-k8s에서 구성한 내용을 확장하여 AWS EKS에서 Spark 환경을 구성한 내용입니다.
3-1. API EC2 생성
3-2. EKS Cluster 생성 및 CSI Driver 구성
3-3. AWS ECR Repository 구성
3-4. Karpenter 설치
3-5. Jupyterhub 구성
3-6. Prometheus 구성
3-7. Trivy
제가 작성한 내용중에 안되는 부분이 있거나 잘못된 내용이 있으시면 Issues에 올리거나 [email protected]에 메일로 보내주시면 감사하겠습니다.