logo
logo
쿠팡이츠의 데이터 플랫폼
코드너리  |  2022. 08. 28
데이터 인프라
대용량 처리
사용된 기술:
관련 기술 스택이 없습니다 🙄
content

데이터 플랫폼은 데이터 처리 흐름의 라이프사이클을 처음부터 끝까지 관리하는 역할을 합니다. 일반적인 데이터 처리 라이프 사이클은 다음과 같습니다:

  1. Data ingestion 데이터 수집은 다양한 소스에서 데이터를 가져오는 첫 번째 단계입니다. 다음 단계에서 원활한 데이터 흐름을 보장하기 위해 이 단계에서 데이터의 우선 순위를 정하고 분류합니다.
  2. Data pre-processing 데이터 전처리는 빈 값 채우기, 표준 형식 실행, 데이터 품질 확인, 데이터 필터링 등으로 구성됩니다. 데이터 전처리의 주된 목적은 데이터 과학 및 기계 학습 과제를 위한 데이터를 준비하는 것 입니다.
  3. Data processing 데이터 처리에는 복잡한 데이터 분석에 필요한 원시 데이터를 원하는 형태로 바꾸는 작업이 포함됩니다. 이 단계에는 적절한 데이터 저장소로의 Data Sink도 포함됩니다.
  4. Data utilization 데이터 활용은 처리된 데이터에서 분석을 생성하는 단계입니다. 이 마지막 단계에서는 데이터 값이 수집되어 비즈니스 문제를 지능적으로 해결하는 데 도움이 되는 광범위한 DaaS에 공급됩니다.
Copyright © 2024. Codenary All Rights Reserved.