개요:

자연어처리와 컴퓨터 비젼 분야 등에서는 크고 아름다운 하나의 모델(Foundation Model)로 많은 문제들을 해결하고 있습니다.

저희는 비즈니스를 위한 Foundation Model을 만들기 위해 많은 실험들을 진행하였고 하나의 큰 모델로 다양한 비즈니스 문제에 적용할 수 있는 성공적인 방법들을 발굴하였습니다.

저희는 language modeling을 활용해 자연어 기반 통합 유저 모델을 제안합니다. 저희 방법론은 다양한 비즈니스 문제에 손쉽게 적용할 수 있으며 기존 방법론들의 성능을 유의미하게 능가합니다.

추천 시스템, 광고타게팅 등 다양한 사내 적용 사례들과 성과들을 소개합니다.

목차

1. 소개

• Business Foundation Models
• Feature-based Transfer Learning
• 추천 시스템과 광고 타겟팅 소개​

2. 비즈니스 AI 모델에서 언어 모델링의 중추적 역할

• 언어 모델을 활용한 기존 유저 모델링 연구
• 분류 학습에 도움이 되는 언어 모델링
  • 언어 모델링은 어떠한 양상으로 다운스트림 태스크에 영향을 주는가
  • 추천 시스템과 언어 모델링의 결합
• Task-specific 및 Task-agnostic 유저 임베딩의 성능 향상
  • Taks-agnostic 데이터를 이용한 모델 강화
  • 실제 applications에서의 전이 학습
  • Task-agnostic 유저 임베딩
• 결과 및 분석

3. 서비스 적용 사례 및 성과

• 추천 시스템
• 광고 타겟팅