딥러닝을 GPU에서 수행하는 과정은 크게 1. 환경 설정, 2. 모델 준비, 3. 학습 실행, 그리고 4. 결과 활용의 단계로 나눌 수 있습니다.• None 환경 설정 단계에서는 NVIDIA GPU가 장착된 컴퓨터에 CUDA와 cuDNN을 설치하여 GPU 사용 환경을 구축합니다. 이는 GPU를 딥러닝에 활용할 수 있게 해주는 기반 작업입니다. 다음으로, TensorFlow나 PyTorch 같은 딥러닝 프레임워크를 설치합니다. 이 프레임워크들은 GPU를 효율적으로 사용할 수 있는 도구를 제공합니다.• None 모델 준비 단계에서는 사용할 딥러닝 모델을 설계하고, GPU 메모리에 맞게 데이터 처리 방식을 조정합니다.• None 학습 실행 단계에서는 모델과 데이터를 GPU 메모리로 이동시키고, GPU를 사용해 실제 학습을 수행합니다. 이 과정에서 GPU의 병렬 처리 능력을 활용하여 대량의 계산을 빠르게 처리합니다. 학습 중에는 GPU 사용률과 메모리 상태를 모니터링하여 최적의 성능을 유지합니다.• None 학습이 완료된 모델은 CPU로 이동시켜 저장하거나 추론에 사용합니다. 이러한 과정을 통해 GPU의 강력한 연산 능력을 활용하여 효율적으로 딥러닝 모델을 학습하고 활용할 수 있습니다.학습 실행단계를 좀 더 살펴보겠습니다. 딥러닝 모델의 학습 과정은 세 단계로 이루어집니다:• None 순전파(Forward Pass): 순전파는 입력 데이터를 모델에 통과시켜 예측 결과를 생성하는 과정입니다. 이는 마치 학생이 시험을 치는 것과 비슷합니다. 모델에 데이터를 입력하고, 모델이 예측을 만들어냅니다. 그리고 이 예측이 얼마나 정확한지 손실(오차)을 계산합니다. 순전파 동안 계산된 중간 결과들은 역전파를 위해 임시로 저장됩니다. 이는 마치 시험을 볼 때 중간 계산 과정을 메모해두는 것과 비슷합니다. 이렇게 저장된 값들을 '순전파 상태 값'이라고 부릅니다. 이 값들은 역전파 과정에서 그래디언트를 계산하는 데 필요합니다.이 과정을 반복하면서 모델은 점점 더 정확한 예측을 할 수 있게 됩니다.• None 배치 정규화 (Batch Normalization): 각 배치의 평균과 분산을 사용하여 데이터를 정규화합니다. 이는 학습 속도를 높이고 안정성을 향상시킵니다.• None 드롭아웃 (Dropout): 특정 뉴런을 무작위로 비활성화하여 과적합을 방지합니다. 이는 모델의 일반화 능력을 향상시킵니다.• None GPU 메모리 사용: 입력 데이터 크기 + 모델 파라미터 크기 + 중간 결과 크기• None 역전파(Backward Pass): 역전파는 손실 함수를 기반으로 모델의 가중치를 업데이트하는 과정입니다. 이는 학생이 시험 결과를 받고 어디서 실수했는지 분석하는 과정과 유사합니다. 계산된 손실을 바탕으로, 모델의 각 부분이 이 오차에 얼마나 기여했는지 계산합니다. 이 과정에서 '그래디언트'라는 값이 생성되는데, 이는 모델의 각 부분을 어떻게 조정해야 할지를 나타냅니다.• None 그래디언트 클리핑 (Gradient Clipping): 그래디언트 값이 너무 커지는 것

안녕하세요. 현대자동차 R&D본부에서 연구하는 오기성입니다. 알파고부터 ChatGPT, 최근 DeepSeek까지, 딥러닝은 획기적인 성능으로 주목받고 있습니다. 딥러닝 열풍에 맞춰 많은 엔지니어가 직면하고 있는 문제에 딥러닝을 활용하고자 고민하고 있습니다. 자동차를 연구개발하는 엔지니어로서 이러한 고민을 함께하고자 딥러닝을 더 작은 단위로 분해하며 그 의미를 파악하고 인사이트를 얻고자 합니다. 이번 글을 읽고 나면 직면한 문제에 딥러닝을 활용하기 위해 가장 먼저 해야 할 일이 무엇인지 알 수 있을 것입니다.딥러닝(Deep Learning)이란?먼저 딥러닝이 무엇인지 알아보자. 최근 가장 뜨거운 AI, 전통강호 'ChatGPT'와 신흥강자 'DeepSeek'에게 딥러닝이란 무엇인지 물어봤다.ChatGPT: 인공신경망을 기반으로 한 기계 학습 기술로, 인간의 두뇌 구조를 모방하여 데이터를 학습하는 방식입니다. 특히 다층 신경망을 활용하여 빅데이터를 처리하고, 복잡한 패턴을 인식하는 데 강력한 성능을 발휘합니다.DeepSeek: 머신러닝의 한 분야로, 인공신경망을 기반으로 한 학습 방법입니다. 주로 빅데이터를 사용해 복잡한 패턴을 학습하여 예측이나 분류 등의 작업을 수행합니다.두 답변 모두 유사한 키워드와 함께 동일한 내용을 담고 있다. 하지만 직관적으로 이해하기는 다소 어렵다. 두 답변을 토대로 필자는 세 가지의 대표 키워드를 선정했고 하나씩 살펴보고자 한다.인공신경망패턴 학습빅데이터위 세 가지 키워드 중 이번 글에서는 딥러닝의 구조를 나타내는 인공신경망에 대하여 분해해보자.인공신경망인공신경망을 검색해 보면 '신경세포... 퍼셉트론... 은닉층... 비선형...' 등등 깊이 있는 정보가 많이 나오지만, 필자는 딥러닝의 본질적인 의미를 먼저 살펴보는 것이 효과적이라고 생각한다.딥러닝의 본질사실 딥러닝의 본질은 입력과 출력이 존재하며 내부가 인공신경망으로 구성된 모델이다. 즉, 인공신경망은 입출력 간의 관계를 모델링하는 도구이다.딥러닝의 직관적 표현 - Image by author.위 그림은 인공신경망으로 이루어진 딥러닝을 직관적으로 그린 것이다. 딥러닝은 입력(X)과 들어가서 출력(Y)이 나온다. 이것이 필자가 생각하는 딥러닝의 본질이다. 수학에서는 이것을 함수라고도 하고, 공학에서는 모델이라고도 부른다. 간단한 예로는 키와 몸무게를 통해 구하는 비만도(체질량지수)가 있다. 키(x1)와 몸무게(x2)를 입력하면 체질량지수(y1)가 출력되는 모델은 아래와 같다.비만도 모델 - Image by author.모델 내부의 수식은 입력(키, 몸무게)과 출력(체질량지수)의 관계를 모델링한 것이다. 비만도 모델 외에도 인간은 다양한 문제에 대하여 입출력을 정의하고 그 관계를 수학적으로 기술하려고 끊임없이 노력하고 있다. 그러던 중 인공신경망이 복잡한 문제에 대해 엄청난 모델링 성능을 보이면서 세간의 집중을 받게 된 것이다. 모델링 성능이 증가하면 입력에 대한 출력이 예측 가능하므로 그동안 해결하지 못했던 다양한 문제를 딥러닝이 해결한 것이다. 딥러닝은 내부가 인공신경망으로 이루어진 입출력의 관계를 모델링하는 도구 중 하나이다.퍼셉트론딥러닝의 본질은 이해했다면 그다음은 퍼셉트론이다. 퍼셉트론은 인공신경망을 구성하는 가장 작은 단위이다. 미국의 심리학자 Flank Rosenblatt은 1957년 인간이 정보를 인식과 행동의 관계를 모델링하기 위해 퍼셉트론이라는 모델을 처음 제안했다 [1]. 퍼셉트론은 이후 딥러닝의 기본 구조인 인공신경망으로 발전한다.<좌> 신경세포 - Image from [2]. / <우> 퍼셉트론 모델 - Image from [3].위 그림과 같이 퍼셉트론 모델은 인간의 뇌 신경세포 구조와 유사한 형태로 모델링 되었다. 하나 이상의 입력값(x)이 각각의 가중치(w)와 가중합된 결과가 0보다 크면 1, 그렇지 않으면 0을 출력하는 꼴이다. 이 단순한 모델로 당시 논리연산 AND, OR 문제를 모델링했다. 그러나 XOR 문제를 해결하지 못하는 한계 역시 존재했다. XOR 문제도 모델링하지 못하는 퍼셉트론이 어떻게 딥러닝의 근간이 되었을까? 해법은 바로 연결에 있다. 우리 몸의 신경세포도 하나가 아닌 무수히 많은 신경세포가 상호 연결되어 신경전달물질을 주고받는 것과 유사하다. 퍼셉트론은 인간의 뇌 신경세포 구조를 모방한 모델링 도구이다. AND, OR 문제 정도만 해결할 수 있는 퍼셉트론이 어떻게 딥러닝으로 발전하는지 계속해서 살펴보자.다층 퍼셉트론학자들은 퍼셉트론 모델을 여러 겹 연결할수록 더 많은 문제를 모델링할 수 있다는 것을 발견한다.<좌> 단일 퍼셉트론 / <우> 다층 퍼셉트론 - Image by author.위 그림에서 알 수 있듯이 퍼셉트론의 연결은 하나의 퍼셉트론 출력층(Output Layer)과 또 다른 퍼셉트론의 입력층(Input Layer)을 연결하면서 은닉층(Hidden Layer)을 형성한다. 이러한 연결을 통해 하나 이상의 은닉층이 생기기 때문에 다층 퍼셉트론(Multi-Layer Perceptron), 줄여서 MLP라고 부른다. 한 개의 은닉층만 있어도 XOR 문제를 손쉽게 해결한다. 한 개 이상의 은닉층이 존재하는 MLP를 비로소 인공신경망이라고 부르며 은닉층이 많을수록 모델이 깊다(Deep)고 표현한다. 최근에는 계단 함수(Step Function) 외 다양한 비선형 활성화 함수도 적용하고, 컴퓨팅 파워가 증가 덕분에 모델도 점점 깊어지면서 문제 해결 능력도 폭발적으로 증가하고 있다. 퍼셉트론을 여러 층 겹쳐 은닉층을 생성하는 것이 딥러닝의 핵심이다.인공신경망의 성공 비결많은 수학자가 인공신경망의 높은 모델링 성능을 증명하기 위해 노력했다. 그중 가장 설득력 있는 것이 바로 보편적 근사 정리(Universal Approximation Theorem)이다 [4].(물론 인공신경망의 성공을 설명할 때 빠져선 안 되는 것이 빅데이터이다. 이 빅데이터에 대한 이야기는 별도로 다룰 예정이다.)보편적 근사 정리(Universal Approximation Theorem)보편적 근사 정리(Universal Approximation Theorem)는 인공신경망이

우리가 상상했던 미래의 모습은 종종 영화나 소설 속에서 묘사된 것과 닮아가고 있습니다.손목시계로 통화하고, 안경을 통해 정보를 얻으며, 귓속의 작은 기기가 우리의 질문에 답하는 세상. 이제 그 미래는 현실이 되어가고 있지만, 아직 완전히 꽃 피우지는 못한 상태입니다.AI Wearables 시장은 무한한 가능성을 품고 있으면서도 여전히 초기 발전 단계에서 극복해야 할 과제들과 마주하고 있습니다.AI Wearables 시장은 아직 대중적인 성공을 완전히 이루지 못한 상태입니다.Rabbit R1과 Humane AI Pin과 같은 초기 제품들은 실제 성능이 과장 광고가 되었다는 비판을 받아왔습니다.이는 소비자들의 높은 기대치와 현재 기술의 한계 사이에 존재하는 간극을 보여줍니다.그럼에도 불구하고, 이 시장은 약 $20-30억 규모로 평가되며, 2030년까지 연평균 성장률(CAGR) 20% 이상을 기록할 것으로 예상됩니다.주요 기업들의 움직임을 살펴보면 시장의 다양성과 잠재력을 엿볼 수 있습니다:• None 애플은 Vision Pro와 Siri 탑재 AirPods으로 프리미엄 시장을 공략• None 메타는 Ray-Ban Meta를 통해 일상 속 스마트 글래스 경험을 제공• None Humane은 AI Pin으로 새로운 형태의 웨어러블을 제시 (최근 HP에 의해 $116M에 자산 인수)• None Rabbit은 R1 디바이스로 포켓 사이즈 AI 어시스턴트 경험을 구현• None 구글은 Pixel Watch와 Glass Enterprise를 통해 다양한 형태의 웨어러블 시장에 진입이러한 환경에서 신생 기업 Bee는 손목 착용형 AI device인 Bee Pioneer를 출시하며 시장에 새로운 바람을 일으키고 있습니다.AI Wearables의 발전은 여러 핵심 기술의 진보에 힘입어 이루어지고 있습니다.AI 기반 음성 어시스턴트 기술은 날로 발전하여 Siri, Alexa, Google Assistant, ChatGPT와 같은 서비스들이 더욱 자연스럽고 정확한 상호작용을 가능하게 합니다.On-device AI 처리 기술의 발전은 클라우드 의존도를 줄이고 개인정보 보호와 응답 속도를 향상시켰습니다.여기에 더해 실시간 번역 서비스와 음성, 터치, 제스처, AR을 결합한 멀티모달 인터페이스는 사용자 경험을 한층 더 풍부하게 만들어주고 있습니다.이러한 기술 발전을 바탕으로 시장에는 다양한 형태의 제품들이 등장하고 있습니다.스마트 글래스는 시각적 정보를 증강현실로 제공하고, AI 기반 이어버드는 음성 비서를 귓속에 품게 해주며, 스마트워치는 건강 모니터링과 알림 기능을 결합합니다.최근에는 AI Pin, Smart Ring과 같은 혁신적인 형태의 Wearables도 등장하여 사용자들에게 새로운 선택지를 제공하고 있습니다.이렇게 다양한 형태의 AI Wearables 여러 일상 상황에서 활용되고 있습니다.Hands-free 커뮤니케이션은 운전 중이나 요리 중에도 연결성을 유지할 수 있게 해주고, 실시간 언어 번역 기능은 해외 여행이나 다국적 환경에서 의사소통의 장벽을

안녕하세요. LINE+ UIT 조직에서 프런트엔드 개발을 하고 있는 강형민입니다. LY에서는 매년 'Front-end Global Workshop'을 개최하고 있습니다. 한국과 일본, 태국, 대만, 베트남 등 여러 나라의 엔지니어들이 함께 참가하여 기술 공유와 네트워킹을 하는 행사입니다.작년에는 한국의 춘천에 위치한 커넥트원이라는 곳에서 개최됐는데요. 올해는 지난 1월에 일본의 도쿄에 위치한 기오이초 오피스에서 개최됐습니다. 저는 2박 3일의 일정으로 이 워크숍에 다녀왔는데요. 올해는 특히 LINE과 Yahoo! JAPAN의 합병 이후 처음 개최된 Front-end Global Workshop이라 더 의미 있는 시간이었습니다.이번 글에서는 행사 참가자 입장에서 Front-end Global Workshop 2024의 후기를 전해 드리려고 합니다.행사장 입구에 들어서자 일본 측 멤버들이 반갑게 맞이해 줬습니다. 짧지 않은 기간 동안 협업했지만 여태 온라인으로만 소통해 왔던 멤버들을 실제로 만났을 때의 반가움은 말로는 다 표현할 수 없었습니다.입구에서 전달받은 행사 안내 정보와 지도입니다. 준비 과정에서 고생했을 일본 측 멤버들에게 감사의 마음을 느꼈습니다.이번에 행사에 새롭게 시도돼 흥미로웠던 부분은 발표 세션을 테크니컬 트랙과 모티베이션 트랙의 두 가지로 나눠 각각 다른 장소에서 동시에 진행했던 점입니다. 테크니컬 트랙은 일반적인 테크 콘퍼런스의 세션과 같이 기술 관련 내용을 다루는 세션이 준비돼 있었고, 모티베이션 트랙은 '일에 동기부여가 되는 사건'을 주제로 가벼운 분위기이지만 발표자의 열정을 느낄 수 있는 세션이 준비돼 있었습니다. 세션 분위기에 맞게 테크니컬 트랙은 큰 세미나룸에서, 모티베이션 트랙은 롯지라고 부르는 큰 로비 공간에서 진행됐습니다.또 하나 좋았던 점은 세션이 끝난 후 진행되는 질의응답 시간이 단순히 짧은 질의응답 시간으로 끝나는 게 아니라, 뒤쪽에 마련된 공간에서 발표자와 청자가 서로 편하게 얘기하고 사내 명함 앱으로 명함도 교환하며 네트워킹을 이어나갈 수 있게 했던 부분입니다.이런 자리에선 처음 인사와 소개가 어렵기 마련인데요. 행사장에는 사내 해커톤 행사(참고: Tech Week 2024, 사내 해커톤 Hack Day에 참여했습니다!)에서 개발됐던 'Profre(ぷろふれ)'라는 사내 명함 앱을 이용할 수 있도록 준비돼 있었습니다. 이 앱을 이용하면 QR 코드를 이용해 간단하게 서로의 명함을 교환하며 연락처를 저장할 수 있고, 또한 직접 작성한 프로필 메모를 확인할 수도 있는데요. 덕분에 서로 어색함 없이 연락처를 교환하고 공통 관심사를 찾아 대화할 수 있었습니다. 참 좋은 아이디어였습니다.즐거운 점심시간에는 롯지에서 도시락을 먹으며 자유롭게 대화를 나눴습니다.벽면에는 세션 중간 쉬는 시간에 참여할 수 있는 '프런트엔드 퀴즈'와 설문조사 보드가 걸려 있었습니다.일본에서는 폴라로이드 사진을 '체키'라고 부른다고 합니다. 세션 중간에 유쾌한 카메라맨이 다가와 '체키'를 찍어주고 가셨는데요. 즐겁고 재밌는 순간이었습니

안녕하세요, 판교 SK플래닛 DevRel & 기술교육 담당 Joe!입니다. ChatGPT가 출시된 이후 계속해서 생성형 AI 기술을 활용한 서비스 개발 고도화뿐만 아니라, 각 기업 내 구성원들의 AI 활용을 높이기 위한 노력 또한 더욱 커지고 있는데요. 따라서 AI를 잘 활용하기 위한 기업의 환경 조성 및 활용 문화의 확산 또한 중요해지고 있습니다.(2025년 SK그룹 최태원 회장님 신년 메시지 중) SK플래닛에서는 이미 2024년 여름, 사내 구성원들이 다양한 LLM(Large Language Model)을 실제로 체험할 수 있는 LLM 플레이그라운드를 사내에 시범 오픈하고, 이를 활용한 프롬프톤(프롬프트 + 해커톤) 이벤트를 사내 개발팀과 지원팀의 콜라보레이션으로 진행한 사례를 SK데보션과 Tech Topic을 통해 공유드리오니 참고하시기 바랍니다.ChatGPT 기반 서비스에서 활용하는 LLM Playground (이하 '플레이그라운드')는 서비스에 적용되는 GPT 모델을 테스트해 볼 수 있는 웹 기반 인터페이스로, http://chatgpt.com/ 의 채팅 인터페이스와 유사한 구성으로 사용자가 익숙하고 편리하게 사용할 수 있습니다. 또한 여러 가지 파라미터 변경 기능을 함께 제공하기 때문에, 사용자는 GPT의 답변 스타일을 직접 바꿔볼 수 있습니다. 예를 들어 'Temperature(온도)'라는 파라미터 값을 낮게 설정하면 일반적인 문장의 답변을, 높게 설정하면 무작위성이 증가해 보다 창의적인 답변을 생성하게 되며, 이를 활용해 생성형 AI 기반 서비스의 페르소나를 설계하고 테스트할 수 있습니다.여러분이 아시는 OpenAI에서 제공하는 Playground 뿐만 아니라, Amazon Bedrock, SKT A.X, 네이버 HyperClovaX 등 LLM을 제공하는 기업 중심으로 플레이그라운드를 제공하고 있습니다(최근에는 각각의 활용 목적에 따라 원티드 LaaS, SK mySUNI의 교육용 Playground 등 다양한 모습의 플레이그라운드가 출시되고 있습니다).B. Pain Point와 멀티 LLM 플레이그라운드의 시작그런데 플레이그라운드의 '출시' 뒤에는 실은 개발자 등 실무자 관점에서의 Pain point가 있었는데요,AI엔지니어 및 개발자가 업무를 위해 LLM 모델을 테스트하기 위해서는 각 LLM 제공 회사의 사이트를 돌아다녀야 하였으며(Context Switching 발생), LLM 모델 별로 비용이나 속도를 비교해 보고 싶은데 그러한 기능을 제공하지 않는 곳도 있어 불편했다고 합니다. 그래서 저희 개발팀에서는 '우리 회사가 자주 사용하는 LLM 모델을 한 곳에서 테스트해 볼 수 있도록 직접 만들어 사용하자!' 는 아이디어를 제안하였고, 이것이 바로 '멀티 LLM Playground'의 시작이었습니다! : )C. 플레이그라운드의 주요 기능플레이그라운드의 화면 구성은 다음과 같습니다.• 사내 인트라넷으로 접속 가능 (외부망 불가능)플레이그라운드는 다음 LLM 모델을 지원하도록 만들었습니다(현재는 제공하지 않는 모델도 있음).원

지난 1월, AI 업계는 그야말로 DeepSeek R1 광풍이 휩쓸고 지나갔습니다.언론은 물론, AI 기업들의 주가까지 출렁이게 만들 정도로 DeepSeek R1 추론 모델에 대한 관심이 뜨거웠었죠.돌이켜보면, 2024년 OpenAI의 o1 모델이 추론 모델의 새로운 도약을 알리는 신호탄이었습니다.기존 AI 모델과 차별화된 '사고 후 응답' 패러다임을 도입하며, 복잡한 문제를 작은 단계로 나눠 해결하는 방식으로 주목받았죠.그 결과, 수학, 과학, 코딩처럼 높은 수준의 논리적 사고가 필요한 분야에서 탁월한 성능을 보였습니다.이런 성과에 고무되어 DeepSeek R1과 Gemini 2.0 같은 강력한 추론 모델들이 잇달아 등장했습니다.특히, DeepSeek R1은 비용 효율적인 모델 개발과 오픈 소스 공개라는 두 가지 측면에서 큰 반향을 일으켰고, 핵심 알고리즘까지 공개되면서 open-r1 같은 복원 프로젝트까지 생겨날 정도입니다.그러나 R1과 같은 추론 모델을 만들려면 대규모 데이터, 막대한 GPU 자원, 복잡한 강화학습 과정이 필요하기 때문에 결코 쉬운 일이 아니죠.그런데 최근, 스탠포드 대학교 연구진이 S1 모델을 공개하며 주목을 받고 있습니다.S1은 Test-Time Scaling 기법을 응용해서 상대적으로 적은 비용으로도 높은 추론 성능을 달성할 수 있는 효과적인 방법론을 제시했습니다.이번 글에서는 S1 모델의 핵심 원리를 살펴보고, 간단한 코드 구현을 통해 그 구조와 작동 방식까지 쉽게 이해해 보려 합니다.이 글에서 다루는 내용• None S1 연구의 의의와 핵심 방법론본문에 사용된 코드는 아래 GitHub 링크에서 다운로드할 수 있습니다.S1 모델은 SFT 학습으로 진행합니다. SFT가 생소하시다면 아래 글을 참조해보세요• None Instruction tuning : LLM이 사람 말을 알아 듣는 방법Reasoning이라는 용어는 일반적으로 "추론"으로 번역되지만, 이는 Inference(추론)과도 겹쳐 혼동될 수 있습니다.따라서 이 글에서는 Reasoning을 “사고”로 명시하여 구분하도록 하겠습니다.LLM의 성능 항샹을 위해서는 어떤 방법 있을까요?지금까지 우리는 대부분 모델을 만드는 과정, 즉 학습에 포커스를 맞춰서 성능 향상을 생각해왔습니다.즉 더 많은 데이터와 더 큰 모델로 더 많이 학습할수록 성능이 증가한다는 다소 직관적인 방법이죠. 하지만 LLM의 성능 향상은 추론 과정에서도 발현 될 수 있습니다.LLM의 성능 향상에 있어 기존의 학습 중심 접근법과 새롭게 주목받는 추론 중심 접근법에 대해 간단히 살펴보겠습니다.LLM을 만드는 과정을 다시 상기해보겠습니다.첫 번째는 사전 학습(Pre-Training)*단계로, 방대한 양의 텍스트 데이터를 사용해 모델이 언어의 패턴과 구조를 학습하는 과정입니다.이 과정에서 모델은 단순히 문장을 암기하는 것이 아니라, 확률적 언어 모델링을 통해 문맥을 이해하고 다음 단어를 예측하는 능력을 갖추게 됩니다.두번째는 후처리학습(Post-Training) 과정입니다.이전 포스팅에서 살펴본 S

여기어때 컬처 라운지 ep. 5한때 인기를 끌었던 TV 프로그램 📺골든벨, 기억하시는 분들도 꽤 있을 것 같아요. 과연 회사에서 골든벨을 진행하면 어떤 모습일지 궁금하지 않으신가요?지난 주 금요일, 새 학기를 맞아 여기어때에서도 <젊은이 골든벨>을 진행했답니다. 작년 이맘때쯤 골든벨 1회가 진행되었는데요. 올해는 더욱 풍성한 🎁경품과 함께 골든벨 시즌2가 열렸어요! 직무별로 자주 쓰는 📖업무 용어부터 프로젝트 이름, 인사제도 등 다양한 문제가 출제되는데, 골든벨을 통해 다양한 직무를 가진 구성원들이 서로의 직무에 대해 조금이나마 이해하는 시간이 될 수 있도록 기획했어요. 이번 골든벨도 Culture TF가 함께 준비했는데요. 준비 과정에서 어떤 부분을 고민했는지도 들려드릴게요.✔️ 서로 다른 직무와 조직에 대해 알아가고 이해하는 시간이 되도록행사를 준비하며 가장 먼저 할 일은 가장 중요한 목적이 무엇인지 확인하는 것이라고 생각해요. 골든벨의 가장 큰 목적은 구성원들이 업무에서 자주 접하는 용어를 쉽고 재밌게 익힐 수 있는 기회를 주는 것, 그리고 타 조직의 업무를 이해함으로써 더욱 원활한 협업을 할 수 있는 계기를 만들어주는 것이었어요. 그래서 직무별로 자주 쓰는 업무 용어부터 프로젝트 이름, 인사제도 등이 담긴 회사생활 가이드가 문제로 출제되었어요. 타 조직에서 자주 쓰는 업무용어를 익히다보면 평소 생각해볼 일이 없었던 다른 직무와 조직의 일하는 방식을 아주 살짝이나마 엿볼 수 있을 거라 생각했어요.골든벨 문제💡예를 들면, 개발자라면 평소 마케팅에서 쓰는 CPC, CPI, SEO 등의 개념을 생각해볼 일이 잘 없겠죠? 골든벨을 통해서 ‘이 조직에서는 업무 시 이런 부분을 고민하는구나’ 간접적으로나마 느껴보기를 바랐어요. 또한, 다양한 직군이 모여 미팅을 할 때 ‘이 용어 무슨 뜻이지?’ 싶은 적이 한 번쯤 있었을 거예요. 이럴 때 찾아볼 수 있는 용어집이 있다면 많은 구성원들이 협업 시 도움을 받을 수 있을 거라 생각해 📚문제집을 만들고 모든 구성원에게 공유했어요!✔️ 모두가 즐길 수 있도록 세심하게 고민한 운영 포인트행사를 준비하면서 “모든 구성원이 즐길 수 있는 행사가 되려면?” 🤔 이 고민을 가장 많이 했던 것 같아요. 모든 사람을 다 만족시키는 행사는 없겠지만, 최대한 많은 구성원들이 재밌게 참여할 수 있도록 다양한 운영적인 부분을 고려했어요.1️⃣ 문제 출제의 균형 ⚖️ 지난 시즌이 끝난 후, ‘개발 직군 문제가 많은 것 같아 다소 아쉽다’는 피드백이 있었어요. 그래서 이번 시즌2에서는 최대한 다양한 조직과 직무의 문제를 고루 섞고 한쪽에 치우친다는 느낌이 들지 않게끔 노력했어요. 조직과 직군별로 똑같은 문제 수를 출제하고, 출제 단계에서 문제 난이도를 1~5단계로 나누어 밸런스 있게 배분했답니다.2️⃣ 리더 특별 문제 🎤리더들도 적극적으로 참여할 수 있는 요소를 만들고자 했어요. 사전에 각 총괄급 리더분들께 전사 구성원이 도전할 수 있는 난이도로 문제 출제와 그에 맞는 경품 준비를 요청 드렸는데, 모두들 흔쾌히 승낙해주셨어요

로그 모니터링 시스템은 서비스 운영을 위해서 반드시 필요한 시스템입니다. 로그 모니터링 시스템 구축에는 인덱스 기반의 빠른 검색을 제공하는 검색 엔진인 Elasticsearch가 널리 사용됩니다. 네이버도 Elasticsearch 기반의 로그 모니터링 시스템을 구축했으며, 수천 대의 서버로 수 페타바이트 규모의 로그 데이터를 저장하고 있습니다. 최근 들어 서비스 규모가 확장되고 저장해야 하는 로그 데이터의 규모와 트래픽 양이 급속도로 증가하면서 Elasticsearch 기반의 로그 모니터링 시스템은 비용 문제와 더불어 확장성 문제에 직면하게 됐습니다.네이버는 저비용으로 대용량의 로그 데이터를 수집할 수 있도록 Apache Iceberg(이하 Iceberg)를 도입한 신규 컴포넌트 Alaska를 개발해 네이버의 로그 모니터링 시스템 플랫폼 NELO에 적용했습니다. 이 글에서는 기존 로그 모니터링 시스템의 문제와 Iceberg의 특징을 소개하고, Alaska의 작동 방식과 Alaska를 NELO에 적용한 이후의 변화를 소개합니다.Elasticsearch 기반 기존 로그 모니터링 시스템의 한계Elasticsearch를 기반으로 구축된 기존 로그 모니터링 시스템의 구조를 간략하게 도식화하면 다음 그림과 같습니다.클라이언트로부터 수신된 로그 데이터는 Kafka에 적재된 후 Elasticsearch에 저장됩니다. Elasticsearch는 SSD 타입의 스토리지로 구성된 Hot 계층(Hot Tier)과 HDD 타입의 스토리지로 구성된 Warm 계층(Warm Tier)으로 구분되어 있습니다. 로그 데이터는 Hot 계층에 3일간 저장된 후 Warm 계층으로 이동되어 최대 90일까지 저장됩니다. 이렇게 Hot 계층과 Warm 계층의 두 단계로 나누어 데이터를 저장하면 검색이 빈번하게 일어나지 않는 데이터를 효율적이면서 저비용으로 저장할 수 있습니다.기존 로그 모니터링 시스템은 수년간 이와 같은 구조로 운영되었습니다. 그동안 데이터가 증가함에 따라 Warm 계층에 저장된 데이터의 크기도 급증했습니다. Elasticsearch는 단일 클러스터로 저장할 수 있는 데이터의 크기에 제한이 있기 때문에 다수의 Elasticsearch 클러스터를 구성해 클러스터 수준에서 확장을 진행했습니다. 그 과정에서 모든 클러스터가 한계 수준까지 도달해 운영 장애를 빈번하게 겪었습니다. 연간 수십억 원의 인프라 사용 비용도 부담이 되었습니다. 두 계층으로 구성된 Elasticsearch 클러스터는 더 이상 로그를 효율적으로 저장할 수 있는 구조가 아니게 되었습니다. 새로운 타입의 데이터 저장 스토리지의 필요성Warm 계층에 저장된 데이터의 크기가 급증하는 이유에는 장기간 로그의 저장에 대한 요구 사항도 있습니다. 기존 로그 모니터링 시스템은 Elasticsearch에 최대 90일까지 로그 데이터를 저장할 수 있게 허용했습니다. 하지만 서비스의 법적 요구 사항 등의 이유로 예외로 1년 이상의 로그 데이터 저장을 허용하고 있었습니다. 기존 로그 모니터링 시스템이 한계에 도달하면서

에어플로우 모니터링과 알림 노하우안녕하세요, 베이글코드 데이터팀의 데이터 엔지니어 하석윤 그리고 김경훈 입니다. 저희는 Airflow 2nd 밋업에서 “Airflow DAG 좀 살려주세요!”라는 주제로 발표를 진행하였는데요. 이번 포스트에서는 발표 내용을 글로 정리해 전달 드리고자 합니다!데이터팀은 Airflow를 통해 모든 데이터 파이프라인을 자동화 하여 운영하고 있습니다. 원천 데이터 수집과 적재, Spark ETL, 그리고 각종 지표 Alert 그리고 ML/DL 모델 학습까지 Airflow가 모든 것을 관리해주고 있습니다. 그러나 작업을 Airflow에서 DAG를 자동화 하였다고 해서 끝나는게 아닙니다. 아주 여러 이유로 Airflow에 스케쥴링 한 작업이 실패합니다.스케쥴링 했던 작업이 데이터가 늘어나면서 Timeout을 겪을 수도 있고, API 호출을 하는 벤더 사에 장애가 발생하거나, DAG 로직 자체에 오류가 있었을 수 있습니다 데이터 엔지니어의 유지보수 작업은 Airflow 작업 실패에서 시작합니다. 기존에 자동화 해두었던 작업이 실패하게 되면 데이터 엔지니어가 살펴봐야 하죠.Airflow Document: CallbacksAirflow는 Task가 실행되는 과정에서 발생하는 각종 이벤트에 특정 동작을 실행할 수 있도록 callback 인터페이스를 지원 합니다. 성공, 실패, SLA miss, 재실행와 실행, 스킵될 때 특정 행동이 트리거 되도록 지정할 수 있습니다. 이번 글에서는on_failure_callback과 on_retry_callback을 어떻게 커스텀 했는지를 중점적으로 소개 드리고자 합니다.Airflow Document: CallbacksAirflow 공식 문서에 있는 예제 코드인데요. Task에 대한 callback을 DAG 레벨에서도 정의할 수 있고, Task 레벨에서도 정의할 수 있습니다. Airflow 2.6.0 버전부터는 여러 개의 콜백을 정의하는 것도 가능하다고 합니다!Airflow Alert 메시지 개선의 여정Airflow Callback 기능에 대해 간단하게 소개드렸고, 지금부터는 베이글코드가 어떻게 얼럿을 개선했는지 스토리를 소개 해보겠습니다!평소처럼 한명의 데이터 엔지니어가 slack 채널에서 장애 메시지를 발견 합니다.아, 오늘은 어떤 작업이 터졌을까~~위의 캡쳐는 베이글코드에서 몇년 동안 사용하던 에러 메시지인데요. 저도 회사에 입사한 이후로 3년 넘게 저 메시지를 보면서 작업을 디버그 했습니다. 그런데, 어느 순간 이런 생각이 들었습니다.이게 최선일까?Task는 얼마나 실행된건지, 어떤 Operator가 실패한건지, 디버그 해야 하는데 어디를 들어가야 하는지도 안 나와 있었습니다. 저희는 기존 메시지를 더 개선할 수 있다고 생각했고, 작업을 시작 했습니다!Raw URL 대신 링크에 Alias를 사용일단 첫번째 개선에서는 기존에 지저분하게 있던 Raw URL에 Alias를 부여 했습니다. DAG 웹페이지에도 바로 접속할 수 있도록 링크도 추가하였습니다.DAG 페이지에 대한 링크를 추가한

최근 AI 업계에서 중국 AI 스타트업 딥시크(DeepSeek)가 주목받고 있습니다. 기존 대형 AI 모델 대비 낮은 비용, 빠른 학습 속도, 적은 GPU 자원 활용이라는 차별점을 갖추고 있기 때문입니다.특히, DeepSeek가 출시한 DeepSeek-R1 모델은 OpenAI o1과 비교할 만한 성능을 보이면서도 API 비용을 95% 절감할 수 있어 AI 비용 절감 가능성을 크게 높이고 있습니다.이번 시간에는 DeepSeek의 기술적 특징과 이를 활용한 비즈니스 기회를 분석하고, 이를 어떻게 적용할 수 있을지 살펴봅니다.DeepSeek는 2023년 5월 중국에서 설립된 AI 스타트업으로, 대규모 언어 모델(LLM)과 추론 모델을 개발하고 있습니다. 2025년 1월, DeepSeek는 DeepSeek-R1 모델을 기반으로 한 무료 AI 어시스턴트 앱을 출시했고, 이 앱은 미국 iOS 앱스토어에서 ChatGPT를 제치고 차트 1위를 기록하며 큰 반향을 일으켰습니다.DeepSeek의 AI 모델인 V3와 R1 그리고 Distillation(지식 증류)모델의 개발 목적과 학습 방식에는 차이가 있습니다.요약하면, V3는 일반적인 언어 이해를 위한 모델인 반면, R1은 V3를 기반으로 강화 학습을 통해 고급 추론 능력을 갖춘 모델입니다. 고급 추론 능력을 가진 R1의 지식을 소형 모델로 지식 증류(Distillation) 한 것이 바로 DeepSeek R1-Distill- Qwen입니다.4-1) DeepSeek의 개발 비용·성능 : OpenAI와 DeepSeek의 장단점 분석DeepSeek는 고성능 ‘R1’ 모델을 600만 달러의 비용으로 개발했다고 밝혔으며, 이는 OpenAI 나 메타 같은 기업들이 수십억 달러를 투자하는 것과 비교하면 현저히 낮은 비용입니다.단, ‘학습비용의 책정 방식’과 ‘주장한 H800과 다른 고성능 H100 GPU 사용’ 등 여러 의혹이 제기되고 있는 상태입니다.DeepSeek-R1의 훈련 과정은 여러 단계를 거쳐 모델을 점진적으로 개선하는 구조로 설계되었습니다. 도식에서 보이듯이 이 파이프라인은 SFT(Supervised Fine-Tuning)와 GRPO(Group Relative Policy Optimization)를 핵심으로 하여, 효율성과 성능을 극대화합니다. 아래 표를 통해 각 단계를 단계별로 살펴보겠습니다.아래 표를 통해 각 단계를 단계별로 살펴보겠습니다.GRPO는 PPO의 확장판으로 , 여러 그룹별 정책을 동시에 학습할 수 있는 구조를 제안합니다. 도식에서 GRPO의 구조를 보면, PPO와 비교해 다음과 같은 차이점을 발견할 수 있습니다:기존 PPO(Proximal Policy Optimization) 방식에서는 훈련 과정에 Value 모델이 필수였지만, DeepSeek의 GRPO (Group Relative Policy Optimization) 방식에서는 리워드 모델만을 활용하여 모델의 응답에 대한 보상을 계산합니다. 결과적으로, Value 모델을 제거하면서 연산량과 GPU 사용량을 줄이고 AI 학습 비용을 절감하며 운영 효율성을 높일 수 있었습니다.GRPO는 PPO와 달리 Value 모델을 없애서 메모리를 절약하고 구조를 단순화했습니다.• PPO는 Value 모델과 GAE(Generalized Advantage Estimator)를 통해 “정책이 얼마나 잘했는지”를 계산하는데, GRPO는 Value 모델을 쓰지 않으므로 GAE도 사용할 수 없습니다.• 대신, 한 질문에 대해 여러 답변을 생성(예: 1개가 아니라 G개)하고, 각각의 답변을 리워드 모델로 평가한 뒤 평균·정규화하여 정책을 업데이트합니다.• 이렇게 하면 Value 모델을 없앤 대신 여러 답변에서 얻은 점수를 합쳐 학습 안정성을 높이고, GAE가 없이도 bias·variance 문제를 어느 정도 완화할 수 있습니다.• 또한 KL Divergence 계산도 기존 PPO와 조금 달라, Unbiased Estimator를 적용해 정책이 기준 모델에서 과도하게 벗어나지 않도록 제어합니다.요약하면, value 없이도 여러 답변을 묶어 학습 안정성을 확보하고, 리워드를 정규화해 GAE 없이도 충분히 좋은 강화학습을 수행하는 방법입니다.DeepSeek-R1-Zero는 두 가지 주요 보상 체계로 구성되어 있습니다.• 정확도 보상(Accuracy Rewards) : 응답의 정확도를 평가합니다.• 수학 문제: 정답을 규칙 기반 검증 시스템(예: 컴파일러, 테스트 케이스)으로 평가• LeetCode 문제: 컴파일 결과로 정답 여부 확인• 형식 보상(Format Rewards) : 모델이 추론 과정을 태그로 구분하고, 최종 응답을 로 명확히 표시하도록 학습• DeepSeek-R1 고급 추론 패턴을 소형 모델에 전이하여, 효율성과 성능을 동시에 향상시키는 지식 증류(Distillation) 기법을 적용하였습니다. 이를 통해 대형 모델에서 학습된 고급 추론 능력을 소형 모델에서도 효과적으로 활용할 수 있도록 최적화하였습니다.• 학습 데이터 : 600k reasoning(DeepSeek R1의 고급 추론 패턴 적용) + 200k non-reasoing• 실험• “Distillation 없이 대규모 강화 학습(RL)만으로도 유사한 성능을 달성할 수 있을까?“이를 검증하기 위해 Qwen-32B-Base 모델에 수학, 코드, STEM 데이터를 활용한 대규모 RL 학습(10K 스텝 이상)을 수행하여 DeepSeek-R1-Zero-Qwen-32B 모델을 생성하였습니다.아래 그림의 Table 6에서 확인할 수 있듯이, RL 학습을 거친 32B 모델은 QwQ-32B-Preview와 유사한 성능을 보였으나, DeepSeek-R1에서 지식 증류된 DeepSeek-R1-Distill-Qwen-32B는 모든 벤치마크에서 훨씬 뛰어난 성능을 기록하였습니다.벤치마크 결과는 DeepSeek‑R1이 특히 수학, 코딩 등 추론 Task에서 경쟁 모델에 필적하거나 일부분은 우세하지만, 일반 지식 및 다중 분야에서는 소폭 차이가 나타납니다.Distilled Model에선 1B 모델 성능과 7B 이상 모델에 비해 벤치마크 성능이 낮게 나타