개요:

하이퍼커넥트는 실시간 영상 기반 글로벌 서비스인 아자르와 하쿠나 등을 운영하고 있습니다. 유저들에게 더 큰 즐거움을 드릴 수 있도록 이들 서비스에는 다양한 추천 시스템이 적용되고 있는데, 머신러닝 기반 추천 시스템을 안정적으로 운영하기 위해서는 다양한 기술들이 필요합니다. 그 중 최근에 주목받고 있는 컴포넌트 중 하나가 바로 Feature Store 입니다.

Feature Store는 모델의 추론 레이어에서 효율적으로 여러 피쳐(Feature)를 가져올 수 있도록 도와주는 컴포넌트입니다. 그러나 지금까지 오픈소스나 클라우드에서 제공되는 Feature Store 프로젝트에는 제약이 많습니다. 특히 실시간 연결을 중요시하는 하이퍼커넥트 서비스들의 요구사항을 만족시키지 않기 때문에, 자체적인 Feature Store를 개발하여 운영 중입니다.

이 세션에서는 하이퍼커넥트에서 개발하여 사용하고 있는 in-house Feature Store에 대해서 소개하고자 합니다. Feature Store 적용 전과 적용 후의 차이점과, 적용 효과에 대해 공유합니다.

목차

1. 하이퍼커넥트의 추천 시스템

• 하이퍼커넥트의 추천 시스템 종류
• 다른 추천 시스템들과의 차이점: 유저-유저 추천 & 실시간성

2. 왜 Feature Store를 도입했는가

• Feature Store 이전의 하이퍼커넥트 추천 시스템
• Feature Store 도입 이전에 겪었던 문제들
• 문제 1: 학습/서빙 데이터 불일치
• 문제 2: 새로운 피쳐 추가시 높은 개발 비용
• 문제 3: 여러 ML 어플리케이션 운용시 중복되는 컴포넌트
• 문제 4: 여러 ML 어플리케이션간에 피쳐 공유의 어려움
• 문제 5: 피쳐의 정합성을 검증하고 이상 피쳐를 탐지하기 어려움

3. 하이퍼커넥트의 Feature Store

• 오픈소스? 자체 개발?
• Feature Store 이후의 하이퍼커넥트 추천 시스템
• 하이퍼커넥트 Feature Store의 기능들
• 기능 1 - GitOps 기반의 피쳐 정의 시스템
• 기능 2 - Offline → Online Store 동기화 파이프라인
• 기능 3 - Online → Offline Store 동기화 파이프라인
• 기능 4 - 온라인 피쳐 Read API
• 기능 5 - 접근제어 및 Data governance 지원

4. 도입 효과

• 적용 사례
• 데이터 일관성 문제 해결
• 개발 생산성 증가
• 플랫폼화의 효과