안녕하세요. 이번에 Bagelcode에서 새로운 BI 툴로 Metabase를 도입했는데 그 과정에 대해서 소개해 드리려 합니다.목차Bagelcode의 Data Delivery- Bagelcode의 Data Delivery 현황- 추가적인 BI 툴 필요성 제기Metabase 배포 과정- EKS 환경 배포- 초기설정- 트러블 슈팅 과정메모리 점유sync, scan 병목schema 하나당 데이터베이스 하나로 등록이 되는 문제,driver 커스텀하기 (feat. clojure)쿼리 timeout 문제마무리Bagelcode의 Data DeliveryBagelcode의 Data Delivery 현황Redshift 제거 과도기Bagelcode에서는 데이터를 추출해서 S3에 저장 후 Databricks에서 가공해서 사용합니다. 기존에는 end-user에게 데이터를 제공하기 위한 툴로 Redshift, Tableau를 이용 중이었습니다.그런데 테이블이 점점 늘어나면서 lock에 걸려서 write, read 시간이 오래 걸리고 비용 문제 등의 이유로 Databricks SQL warehouse를 통해 Superset으로 쿼리할 수 있도록 변경했고 Redshift와 Superset을 동시에 이용하는 과도기를 지나 Superset만을 이용하는 방식으로 변경했습니다.Redshift를 제거하는 과정에 대해서 궁금하시다면 ‘Databricks SQL Serverless 도입기’를 참고해 주세요.Before Metabase과도기를 지난 후 데이터를 사용하는 end-user가 사용할 수 있는 툴은 Superset과 Tableau 두 가지가 되었습니다.직접 테이블에서 바로 쿼리를 해서 사용하고 싶을 때는 Superset으로, 시각화가 필요할 때는 Tableau를 이용하였습니다.추가적인 BI 툴 필요성 제기하지만 신작팀이 점점 늘어나면서 추가적인 BI 툴의 필요성을 느꼈습니다. 신작팀은 인원이 많지 않은 관계로 데이터를 직접적으로 다룰 수 있는 인원이 없는 경우가 많았습니다. 이 경우 데이터 팀에게 직접적으로 요청하는 방법이 존재하지만, 빠른 사이클이 필요한 신작팀에게는 일분일초가 소중합니다.After Metabase‘SQL 쿼리를 할 줄 모르는 사용자’도 ‘빠르게’ 데이터를 다룰 수 있는 BI 툴의 필요성을 느껴서 Metabase를 도입하게 되었습니다.Metabase에서는 question이라는 기능을 통해 template화된 GUI 쿼리 툴이 존재하기 때문에 SQL을 모르는 사용자도 쉽게 쿼리를 할 수 있도록 해주고 자체 시각화 기능 및 alert 설정 등 다양한 기능이 있기 때문에 도입을 결정하게 되었습니다.정리하자면 아래와 같습니다.Superset: SQL 쿼리를 다룰 줄 아는 사용자가 데이터를 추출하기 위해 사용.Tableau: SQL 쿼리를 다룰 줄 아는 사용자가 시각화를 위해 사용. 또는 SQL 쿼리를 모르는 사용자도 데이터 팀에 요청해 사용.Metabase: SQL 쿼리를 다룰 줄 모르는 사용자가 빠르게 데이터를 다루거나 시각화할 때 사용.Metabase 배

안녕하세요, Tech Data AI검색 소속 데이터 분석가 최정현입니다.지난해 말부터 커머스 유저 데이터를 분석 및 지표를 기획하고 대시보드로 자동화 하는 업무를 진행하였습니다. 이를 통해 추가적인 수익을 얻게 되었고 데이터를 통한 최적화 방향을 잡을 수 있었습니다.Databricks와 AWS 서비스를 활용한 데이터 파이프라인 설계 및 고도화 부분은 해당 작업을 맡아주셨던 같은 팀 권순철님이 작성해주셨습니다.먼저 대시보드를 만들게 된 계기와 구체적인 지표 선정 작업을 공유드려요. 그리고 Databricks와 AWS 서비스를 활용한 데이터 파이프라인 설계 과정과 대시보드의 임팩트 그리고 개선할 점으로 글을 구성했습니다.🏐 들어가며지난 11월, 브랜디 서비스는 메인페이지 추천 및 비즈니스 로직에 대한 실험을 진행했습니다. 그 결과, 실험을 진행한 조닝*에서 실험 집단이 통제 집단에 비해 압도적인 거래량을 발생시켰지만 실험 대상이 아닌 타 조닝에서 통제 집단이 실험 집단에 비해 높은 거래액을 발생시켰어요. 결국 상쇄된 거래액으로 인해 기존의 상품 진열 비즈니스 로직을 제거하지 않는 방향으로 결론이 났습니다.*조닝: 상품이 전시되는 영역해당 실험의 결과를 좌우한 핵심 지표는 ‘거래액’이었지만, 저희 팀은 이커머스 맥락에 맞춰 AARRR 지표를 위주로 추적하며 유저의 서비스 이용 과정에서의 어떤 차이가 해당 조닝에 대한 거래액 차이를 만들어냈는지 원인을 파악하는 작업을 진행했습니다.여기서 AARRR이란, 사용자의 서비스 이용 여정을 다섯 단계로 나누어 분석하는 프레임워크입니다. Activation(고객 획득), Activation(활성화), Retention(재방문율), Revenue(수익률), Referral(추천)으로 구성되어 있습니다.아래로 갈수록 사용자의 비율이 줄어드는 깔대기 모양으로, 더 많은 사용자를 각 단계에서 그 다음 단계로 전환시키키는 것을 목적으로 합니다. 궁극적으로는 사용자가 해당 서비스를 더 적극적으로 이용하고 더 많은 수익을 창출하는 건강한 사용자 여정을 만들고자 하는 것이죠. 해당 실험에서는 이 중에서도 Activation, Retention, Revenue 관련 지표를 개발하여 실험 결과를 측정했습니다.실험 기간인 한 달 간, 아래와 같이 매일 아파치 스파크를 활용하여 지표를 수동으로 추출 및 실험 리포트를 작성했는데요. 이 과정에서 실험 이후에도 해당 지표를 꾸준히 추적할 필요를 느꼈습니다. 따라서 해당 작업을 자동화하고 더욱 세밀한 AARRR 분석을 위해 대시보드 작업을 시작하였습니다.🥎 기존 고객 이탈을 방지하기 위한 AR 대시보드이전에는 대시보드가 없었나요?기존 태블로 대시보드가 존재했습니다만,(1) 다양한 차트와 대시보드가 산발적으로 존재해 서비스의 현황을 한눈에 진단하기 어려웠습니다.(2) 사업부의 요구사항에 따라 그때 그때 필요한 내용을 작성한 경우가 많아, 데이터 분석가가 서비스를 바라보는 관점은 포함되지 않았습니다.(3) 대부분 거래액과 같은 ‘결과 지표’ 위주로 집계하는 방식으로 작성되어 있었으며 ‘

슬랙으로 대시보드 공유하기 (Feat. 태블로)By Won on March 3, 2023슬랙으로 대시보드 공유하기 (Feat. 태블로)안녕하세요, 데이터전략팀(Growth)에서 데이터 분석가로 일하고 있는 Won 입니다.데이터전략팀(Growth)은 데이터로 사업/운영/마케팅 다양한 분야의 비즈니스를 직접 개선하여 회사의 성장을 가속화하고 운영을 효율화하여 지속 가능한 가치를 만들어내는 팀으로 다음의 업무를 하고 있습니다.지표 설계 및 이상지표 모니터링비즈니스 목표 및 KPI 설정데이터 분석 및 문제점 발굴, 액션 아이템 도출신규기능, 할인정책, 마케팅 등 프로덕트 전략 수립이번 글에서는 대시보드를 통한 커뮤니케이션 방법, 그 중에서도 태블로와 슬랙을 연동해서 손쉽게 대시보드를 공유할 수 있는 방법에 대해 소개하고자 합니다. (해당 작업은 데이터 엔지니어 Kai 와 함께 협업해서 진행했습니다)다음과 같은 분들에게 도움이 될 수 있습니다.태블로를 활용하고 있으면서 새로운 방식을 고민하시는 분태블로를 활용해서 모든 회사 구성원에게 대시보드를 공유하고 싶으신 분데이터 분석가가 아니더라도 대시보드를 보고 싶으신 분한정된 예산 내에서 태블로를 활용하고 싶으신 분1. 시작하기1) 데이터 분석가는 어떤 일을 할까요?비즈니스 기반으로 의사결정에 결정적인 역할을 수행하는 데이터 분석가는 생각보다 다양한 업무에 직면하게 됩니다.예를 들면, 1)데이터 분석을 통한 인사이트 도출 2)지표관리/모니터링 3)비즈니스 로직 개선 4)데이터 인프라 5)대시보드 구축 6)A/B 테스트 7)로그설계 8)데이터 설계/적재 등 기술과 비즈니스 모두를 아우르는 업무영역을 가지고 있습니다저는 주로 비즈니스 기반으로 정의한 지표를 통해 운영 현황을 체크하고 프로덕트에서 나타나는 여러 병목현상을 해결하기 위해 액션에 대한 실험을 주도하는 역할을 수행하곤 합니다.2) 업무의 한계위와 같은 업무를 하다 보면 ‘어제 출시된 기능이 매출상승에 얼만큼 기여했지?’ 혹은 ‘데이팅 서비스를 사용하는 유저들이 만족을 경험하는 비율이 어떻게 될까?’ 라는 동료들의 고민을 듣게됩니다. 하지만 유일무이한 더블유클럽의 1인 분석가로서 이러한 요청사항을 모두 처리하며 업무를 하기에는 약간의(?) 한계가 존재합니다. 그럼에도 조직 구성원 모두가 데이터와 지표를 바라보도록 만드는 것이 조직에서 제가 추구하는 방향성이라고 생각했기 때문에 이러한 업무적인 한계를 극복하고 좋은 조직을 만드는 것을 위해서는 “자동화” 가 필요하다고 생각했습니다. 저에게는 든든한 데이터 엔지니어가 있기 때문누구나 쉽게 데이터에 접근하고 요청없이 원하는 지표를 확인할 수 있도록 말이죠!그래서 데이터 업무를 하는 사람들뿐만이 아니라, 회사 전체 구성원분들에게 대시보드를 잘보게 만들 수 없을까 생각했고 → 모두가 사용하고 있는 사내메신저 슬랙을 태블로와 간단한 연동을 통해서 대시보드를 전사적/정기적으로 공유하는 방법을 생각해보게 되었습니다2. 태블로(Tableau)를 활용하고 있나요?1. 태블로(Tableau)란?태블로에 대해서 간단히

안녕하세요.저는 Cloud SA 로서 다양한 분야의 고객을 만나고 있습니다.그렇다고 데이터 분석 쪽의 전담 SA는 아닙니다.그런데, 제가 왜 태블로를 사용하게 되었을까요?이유는 데이터가 많기 때문입니다!클라우드에는 데이터가 많습니다.클라우드의 많은 서비스에서 발생되는 로그 정보들, 비용 데이터 등이 있습니다.데이터의 양은 큰 편인데요.AWS 기준으로, 비용 데이터는 월 사용량 $150K 정도의 고객의 데이터는 매월 10GB 의 데이터가 발생됩니다.(환경에 따라 조금 다를 수 있습니다)이 데이터에서 생각하지 못한 좋은 정보를 찾는 방법은 시각화가 좋은 방법이라고 생각합니다.그리고 시각화한 데이터를 고객에게 제공하면 좋은 인사이트를 제공할 수 있겠다고 생각하고 태블로를 사용하게 되었습니다.태블로 말고도, 다양한 선택지가 있을 수 있는데요. 제가 태블로를 선택한 이유가 있습니다.저는 정기적으로 만나는 고객도 있지만, 고객을 매번 다르게 만나는 경우도 있습니다.따라서 다양한 형태의 데이터를 연결해서 분석해야 되는데, 태블로는 많은 데이터 형식을 지원합니다.또한, 별도로 환경 구축할 필요 없이, desktop 설치형으로 간편하게 사용할 수 있습니다.공유가 필요하면, server와 cloud 버전이 있는데, 이 역시 cloud 버전으로 간편하게 사용할 수 있습니다.무엇보다 태블로를 선택한 가장 큰 이유는 사용하기가 쉽기 때문입니다!(물론, 더 의미있는 시각화를 만들기 위해선 좀 더 고급 스킬이 필요합니다.)저는 태블로 교육을 받아본 적 없습니다. 그래도 고객 데이터를 분석하기 위한 용도와 고객에게 제공할 화면을 만드는 정도는 어렵지 않게 잘 사용하고 있습니다.의미 있는 데이터는 아래와 같이 금방 찾을 수 있습니다.예를 들면, AWS 에서 RDS 요금이 고민이라면, 그래프를 아래와 같이 그려보면 StorageIOUsage 를 확인해봐야겠구나 라는 걸 금방 찾을 수 있습니다.아래는 고객에게 보여드리는 대시보드 화면입니다.태블로는 반응형 툴로, 각 정보에 필터를 적용해두면, 데이터의 특정 정보를 선택하면 그에 맞도록 데이터가 새로 바뀌어, 분석하기 정말 편합니다.예를 들면, 일별 그래프 대시보드에서 12월 가장 피크 친 12일 날짜의 정보가 궁금하다면(빨간 동그라미), 선택하면 아래와 같이 해당 일자에 맞는 데이터로 그래프를 다시 그려줍니다.그 외에도, 지도에 데이터를 표현하는 것도 기본 제공해주는 map으로도 아래와 같은 그림을 만들 수 있습니다.이외에도 추천 드릴 기능이 많지만, 기능 소개가 아니니 여기서 마치겠습니다.다양한 시각화 화면은 아래 사이트에서 참고해보세요.Tableau Public업무에 데이터가 많다면, 시각화 해보시길 추천드립니다!감사합니다.[참고] 이 글은 DEVOCEAN 지원으로 태블로를 사용해 본 후기 입니다.