logo
logo
쿠버네티스에 Airflow 동적 배포
코드너리  |  2022. 02. 27
데이터 인프라
사용된 기술:
airflow-image
postgresql-image
kubernetes-image
github-image
content

간단 요약

  1. 전반적으로 운영 환경의 배포와 동일합니다. 다만 DB가 Kubernetes 외부 Database가 아닌 Kubernetes 내부 Database입니다.
  2. 개발 환경의 Airflow는 항상 배포되어 있지 않고, DAG Github 리포지토리에 feature/ 로 시작하는 브랜치가 생성될 때 동적으로 배포되었다가 브랜치 삭제하는 시점에 내려갑니다. 즉 개인이 DAG 작업할 때에만 테스트하기 위한 용도로 배포되는 방식입니다.
  3. 테스트를 완료한 이후에는 테스트에 사용된 DB 역시 삭제해야 하기 때문에 외부 DB가 아닌 Kubernetes 내부 DB를 사용했습니다.
Copyright © 2024. Codenary All Rights Reserved.