Riiid Tutor의 데이터를 흐르게 하는 기술
코드너리 | 2021. 11. 17
데이터 파이프라인
사용된 기술:
https://tv.naver.com/v/23649382
목차:
1. Riiid Tutor 서비스 소개
2. Riiid Tutor의 데이터와 파이프라인
- 데이터 특징
- 데이터 파이프라인 요구사항
- 기존의 데이터 흐름
3. Airflow v2로 명확한 워크플로우 설계하기
- TaskFlow API
- Scheduled task & Trigger
4. BigQuery 비정형 데이터 수집과 유연성 한번에 챙기기
- Auto detect schema
- BigQueryOperator for Airflow
- 요금 최적화
- Billing report automation
5. 결론
