카프카 사용 방법:

• 숨고에서는 프로덕션 DB에서 빅쿼리 데이터 웨어하우스로 데이터를 동기화하는데 카프카를 사용하고 있습니다. 카프카 커넥트를 사용해서 파이프라인을 만들고 있으며, 프로덕션 DB인 MariaDB에서 CDC를 이용해 데이터를 가져오기 위해서 디비지움의 커넥터 플러그인을 사용하고 있습니다.

개선 방향:

• 커넥터 구성을 위한 설정 값과 커넥터를 생성할 때 사용되는 리눅스 명령어의 분리
• k8s에 배포 후, 커넥터가 자동으로 생성 될 수 있도록 함
• 커넥트 파드가 예기치 못한 에러로 인해 정상으로 작동되지 않는 경우 상황 인지 필요(health check)
• 커넥트 파드가 정상동작하지 않을 시에는 알림을 주고 스스로 장애 대응 작업 진행(self-healing)

개선 결과:

• 카프카 시스템 배포 시, 정의한 커넥터 생성을 자동화
• 커넥터 구성 요소 관리가 수월해짐
• 예상치 못한 커넥트 파드 비정상 동작에 대비할 수 있음