300GB 데이터로 어떻게 학습을 할 수 있을까?
코드너리 | 2021. 11. 17
데이터 파이프라인
ML 파이프라인
추천 서비스
사용된 기술:
내용:
광고추천팀에서 전환최적화 타게팅 모델을 딥러닝으로 전환하면서 학습 데이터의 규모가 크고 광고주 별로 많은 모델을 처리하다 보니 많은 어려움을 겪었습니다. 모델의 성능/효율을 유지하면서 어떻게 하면 데이터를 줄일 수 있을까 고민하고 튜닝했던 경험들을 공유합니다.
광고추천팀에서 전환최적화 타게팅 모델을 딥러닝으로 전환하면서 학습 데이터의 규모가 크고 광고주 별로 많은 모델을 처리하다 보니 많은 어려움을 겪었습니다. 모델의 성능/효율을 유지하면서 어떻게 하면 데이터를 줄일 수 있을까 고민하고 튜닝했던 경험들을 공유합니다.
