Third Party 데이터 웨어하우스 구축
코드너리 | 2022. 11. 30
데이터 인프라
로그 수집
사용된 기술:
요약:
Braze 데이터 DW 구축 과정 및 아키텍쳐는 다음과 같습니다.
- Export Data (Braze to S3)
- 이벤트 별 ETL 처리: 한 시간에 한번 S3에 추출된 데이터(한 시간 전 데이터)를 추출/변환/적재하는 스케쥴이 실행됩니다.
- DW (Redshift) 적재: 특정 크기 이상(내부 기준) 발생하는 이벤트의 경우 External Schema(S3 내 Parquet 저장 및 Redshift Spectrum 접근)로 처리하며, 그렇지 않은 경우 Internal Schema(Redshift 적재)로 처리합니다.
