클라우드 환경 기반 실시간 데이터 처리의 유실 없는 Geo-Replication 구축
코드너리 | 2023. 03. 18
장애 대응
데이터 인프라
사용된 기술:
개요:
본 세션에서는 실시간 데이터 처리를 IDC Level에서 이중화(Geo Replication) 하는 방안에 대해서 공유 합니다.
실시간 데이터의 입수에서 부터 최종 저장에 이르는 Pipeline에는 수많은 플랫폼들이 유기적으로 동작해야하고 이러한 모든 요소들을 이중화 하기 위해서는 많은 것들이 고려되어야 합니다.
이에 대해 비용을 최소화하면서도 데이터 유실 없는 효율적인 이중화 구축을 위해 고민하고 해결해 본 내용들을 공유 합니다.
목차
- IDC 장애의 심각성 그리고 Geo Replication
- Message Queue Geo Replication
- Realtime Data Processing Geo Replication
- Cloud friendliness in Geo Replication
- Geo Replication in Practice
- Efficiently Lossless Realtime Processing in Log-data
- Wrap up
