
TensorFlow Serving보다 10배 빠르게 서빙하기
코드너리 | 2021. 11. 17
머신러닝
사용된 기술:

내용:
텐서플로우로 만든 딥러닝 모델을 서비스에서 사용하기 위해 인퍼런스 서버를 구축하는 과정에서 코드 레벨/도메인 레벨/Layer Fusion/구현 레벨 등 다양한 관점에서의 최적화를 통해 TensorFlow Serving보다 10배 빠르게 만든 과정을 공유합니다.
텐서플로우로 만든 딥러닝 모델을 서비스에서 사용하기 위해 인퍼런스 서버를 구축하는 과정에서 코드 레벨/도메인 레벨/Layer Fusion/구현 레벨 등 다양한 관점에서의 최적화를 통해 TensorFlow Serving보다 10배 빠르게 만든 과정을 공유합니다.