logo
logo
추천 서비스 데이터 파이프라인
코드너리  |  2022. 03. 01
추천 서비스
데이터 파이프라인
사용된 기술:
kafka-image
airflow-image
googlebigquery-image
pytorch-image
content

간단 요약

  1. 데이터 마트 : 상품 정보, 예약 정보, 회원 정보 등 메인 DB로부터 동기화된 데이터와 클라이언트로부터 수집된 로그를 잘 정리된 형태로 저장합니다.
  2. 추천 모델-배치 데이터 : 각 모델의 데이터를 표준 포맷으로 저장합니다. 표준 포맷을 준수한다면 어떤 방식으로 생성된 데이터라도 하나의 추천 서비스로서 제공 될 수 있습니다.
  3. 실시간 분석-스트리밍 데이터 : 상품 클릭, 구매 등 실시간 유저 액션과 실시간 통계를 저장합니다. 유저별 히스토리 스코어링, 카테고리 선호도, 랜드마크 선호도 등을 구하는데 사용될 수 있습니다.
  4. 추천 Provider : 실시간 데이터와 배치 데이터를 결합하여 섹션에 추천 데이터를 제공합니다. 실시간 스코어링, 데이터 병합, 필터링, 중복제거 등의 내부 연산 및 실시간 분석 기능을 수행합니다. MAB와 같이 실시간 AB를 통해 알고리즘을 선택하는 것도 Provider에서 수행할 수 있습니다.
  5. UI 섹션 : UI에서 추천을 보여주는 영역으로 Provider의 결과를 받아 상품정보를 매핑하여 보여줍니다. 홈, 도시 영역에서는 여러 섹션이 동시에 노출될 수 있습니다.
Copyright © 2024. Codenary All Rights Reserved.