ksqlDB 를 적용한 1:1 Video Chat 메트릭 생성 플로우
코드너리 | 2022. 11. 28
영상 서비스
데이터 파이프라인
데이터 인프라
사용된 기술:
요약:
- ksqlDB 은 기존에 발행하고 있는 이벤트 스트림을 중간에서 컨슘하고, 원하는 형태로 데이터를 가공한 새로운 이벤트 스트림을 다시 카프카로 발행해주는 역할을 수행합니다.
- ksqlDB를 이용하여 애플리케이션 이벤트 안에 있던 filterSelections 를 flatten 하고 각각의 필터 타입에 대해 이벤트를 재발행하는 것으로 필터별로 대시보드를 만들 수 있게 됩니다.
이를 위해 우리는 2개의 이벤트 스트림을 생성합니다.
- 애플리케이션 이벤트가 발행될 때마다 이 값을 ksql 로 사용하기 위한 input Stream
- 우리가 원하는 형태로 가공해서 flatten 한 event 를 다시 생성해서 내보내기 위한 output Stream
