간단 요약

크게는 실시간 프로세싱과 배치 프로세싱을 통해 데이터가 가공되고, 가공된 데이터가 추천 서비스 레이어에서 클라이언트 쪽에 서비스 됩니다.

1. 배치 프로세싱 : 소스 데이터로부터 피쳐 생성, 추천 모델 작업을 수행하며 최종적으로 추천을 위한 데이터를 만드는 작업을 합니다.
2. 실시간 스트리밍 프로세싱 : 소스 데이터로부터 실시간으로 데이터를 스트리밍하여 처리합니다. 실시간 분석 결과를 빠르게 처리 가능한 메모리 스토리지에 저장합니다. 데이터를 오래 보관하지 않으며 가장 최근의 유저 액션이나 실시간 분석 결과를 저장하고 추천 api 서버에서 쿼리합니다.
3. 추천 데이터 서비스 : 배치, 스트리밍 데이터, 그리고 때로는 검색 데이터를 합쳐 최종적으로 클라이언트에 데이터를 제공합니다. 내부적으로 데이터를 합쳐서 스코어링을 하거나 유저 액션, 카테고리, 랜드마크의 스코어링 등 실시간 추천 모델을 제공합니다.

모든 작업을 자동화하고 퀄리티를 관리하기 위한 다음과 같은 부분이 포함됩니다.

1. 추천 메타 데이터 : 추천 데이터를 서비스하기 위해 필요한 모든 정보를 저장합니다. 모델 알고리즘, 버전 등을 포함해 섹션의 정보와 페이지에 대한 정보도 포함합니다. 서비스되는 알고리즘의 변경이나 AB test, 버전 업 등을 포함해 추천 데이터를 서비스하는 과정에서 발생하는 모든 작업을 자동화하기 위해 필수입니다.
2. 워크플로우 : 모델, Feature 등 배치에서 발생하는 작업의 플로우를 관리합니다.
3. 추천 데모 : 추천의 모델 결과를 눈으로 직접 확인하는 것은 추천 퀄리티에 큰 영향을 미칩니다. 추천 데모는 추천 데이터를 상품 정보와 바인딩 시켜 눈으로 직접 확인해 볼 수 있도록 합니다.