쿠버네티스에 Airflow 동적 배포
코드너리 | 2022. 02. 27
데이터 인프라
사용된 기술:
간단 요약
- 전반적으로 운영 환경의 배포와 동일합니다. 다만 DB가 Kubernetes 외부 Database가 아닌 Kubernetes 내부 Database입니다.
- 개발 환경의 Airflow는 항상 배포되어 있지 않고, DAG Github 리포지토리에 feature/ 로 시작하는 브랜치가 생성될 때 동적으로 배포되었다가 브랜치 삭제하는 시점에 내려갑니다. 즉 개인이 DAG 작업할 때에만 테스트하기 위한 용도로 배포되는 방식입니다.
- 테스트를 완료한 이후에는 테스트에 사용된 DB 역시 삭제해야 하기 때문에 외부 DB가 아닌 Kubernetes 내부 DB를 사용했습니다.