AWS EKS에서 Graviton 인스턴스 사용과 GPU Time-Slicing 적용

• GPU 가상화와 Time-Slicing 기술을 통해 Amazon EKS 환경에서 GPU 자원을 효율적으로 활용할 수 있으며, 이는 딥러닝 워크로드의 가속화와 자원 활용률 향상에 기여합니다. 과거에는 베어메탈 서버에 직접 GPU 드라이버를 설치하는 방식이 일반적이었으나, 이는 복잡성과 비효율성을 초래했습니다.

• NVIDIA의 MIG와 vGPU와 같은 GPU 가상화 기술은 하나의 GPU를 여러 인스턴스로 분할하여 다양한 워크로드를 동시에 실행할 수 있게 하며, 이는 딥러닝 인프라의 효율성과 확장성을 크게 개선합니다. 그러나 드라이버 구성과 보안 통제는 여전히 해결해야 할 과제로 남아 있습니다.

• AWS 계정에서 G 타입 인스턴스를 생성하기 위해 할당량 증가 요청을 진행하고, 승인 후 EKS 클러스터를 생성하여 t3.large와 g5.8xlarge 타입의 노드 그룹을 설정합니다.

• GPU 리소스를 활용하기 위해 nvidia-device-plugin을 설치하고, GPU가 탑재된 노드에 tensorflow 애플리케이션을 배포하여 활용합니다.