데이터 분석이 막막한 당신이 꼭 알아야 하는 솔루션, DataRobot | DT 체크인 AI DATA

페이지 정보

본문

f42afd55627ba69af4bdbae34edd83eb_1674781151_797.png

몇 달 전, 옆 부서 동료이자 가장 친한 동기가 퇴사했습니다. 그 사실에 슬퍼하던 것도 잠시, 저에게도 갑작스러운 인사 발령 소식이 들려왔습니다. 데이터 사이언티스트였던 동기의 빈 포지션을 제가 담당하게 되었는데요. 문제는 제가 데이터 관련 일을 해본 적이 없다는 것이었죠. 


하지만 지금의 저는 어엿한 CDS가 되었습니다. AI와 AutoML 영역을 어떻게 공부해서 CDS(Citizen Data Scientist) 업무를 소화할지 고민하던 제게 DataRobot(데이터로봇)이 나타났기 때문이죠. 누구나 일 잘하는 CDS가 될 수 있는 비법, DataRobot(데이터로봇)에 대해 함께 알아볼까요?




DataRobot(데이터로봇)은 무엇인가요?


DataRobot(데이터로봇)은 공학용 계산기와 비슷하다고 생각하면 쉽게 감이 오실 텐데요. 공학용 계산기는 알면 알수록 활용도가 높아지는 Tool입니다. 처음에는 낯설어 이것저것 클릭해 보지만, 조금 익숙해지면 여러 방면으로 활용이 가능하지요. 이처럼, 지속적으로 발전을 거듭하는 인공지능 분야에서 방대한 Data를 다루는 Data Scientist들에게 큰 효용을 제공하는 DataRobot 역시 이와 비슷하다고 볼 수 있습니다. 기능을 익히면 복잡하고 다양한 데이터 분석을 아주 쉽게 할 수 있죠. 또한 반복적으로 수행해야 하는 업무들을 자동화하여 처리해주기 때문에 데이터분석에 들어가는 시간을 획기적으로 줄일 수 있습니다. 


따라서 DataRobot(데이터로봇)은 전문 데이터 분석가가 없는 기업이나 저와 같은 CDS가 쉽고 편리하게 데이터분석을 하는 데에 사용할 수 있고 Data scientist와 같은 전문가들도 반복 업무를 자동화하여 생산성을 높일 수 있는 솔루션입니다.



데이터 분석의 지름길, AutoML


f42afd55627ba69af4bdbae34edd83eb_1674781234_7351.png

경쟁력 있는 기업으로 성장하기 위해 인공지능 기술 도입을 고려하는 분들이 많습니다. 하지만 데이터 분석 전문가의 공급은 그것에 훨씬 못 미치고 있죠. 저처럼 도메인 지식만 가진 현업 전문가가 CDS로 전환하는 경우도 왕왕 일어나고 있고요. 


​이 문제를 어떻게 해결할 수 있을지 고민하던 저는 AutoML을 활용하기로 했습니다. AutoML은 머신러닝/딥러닝 모델을 수행하는 과정을 자동화해주는 기술입니다. AI를 만들기 위해서는 데이터 분석 과정인 데이터 수집부터 전처리, 모델 생성, 최종 적용까지 전문가의 개입이 필요한데요. AutoML은 이 모든 절차를 최대한 자동화하여 업무 효율과 생산성, 퀄리티까지 향상시킵니다.



데이터 분석 과정을 End-to-End로 지원하는 DataRobot(데이터로봇)f67525f6e0b66200166bd42655409c70_1674786599_7835.png


AutoML 기술을 활용하기로 마음먹었지만 어떤 솔루션을 선택해야 할 지 고민하는 분들이 많을 텐데요. 저는 DataRobot(데이터로봇)을 선택했습니다. DataRobot(데이터로봇)은 AutoML을 중심으로 데이터 전처리부터 모델학습 배포, 운영, 관리에 이르는 데이터 분석 과정을 End-to-End로 지원하는 플랫폼이기 때문입니다. End-to-End 플랫폼을 사용하면 모델의 학습, 배포, 운영 관리까지 하나의 솔루션으로 일관성 있게 수행할 수 있다는 장점이 있습니다. 



단 몇 번의 클릭만으로 진행되는 AutoML

무엇보다 제가 DataRobot(데이터로봇)을 선택한 이유는 데이터 분석 경험이 적은 기업들이 DataRobot 도입 후 만족할 만한 성과를 냈기 때문입니다.

​신선식품 온라인 유통업체 사이에서 경쟁력을 확보한 H 유통사의 사례가 대표적인데요. 코로나 이후 배송 경쟁이 심화됨에 따라 H 유통사는 배송 리드타임을 감축하기로 했습니다. 이를 위해선 주문 수량을 정확하게 예측해야 했습니다. 유통기간이 짧은 농산물의 수요를 제대로 파악하지 못한다면 손실이 크기 때문이죠.

데이터 분석가도 보유하고 있지 않고 분석 프로젝트 경험 또한 부족했던 H 유통사는 DataRobot(데이터로봇)의 도입으로 주문수량 예측 모델 개발에 성공했습니다. 8주 정도 걸리던 모델 개발 시간이 1주로 줄었고, 모델 상용화에 소요되는 시간도 4일에서 단 5분으로 단축되었습니다.

이처럼 DataRobot(데이터로봇)은 머신러닝(ML) 분석 전문가가 없어도 도메인 Knowledge를 바탕으로 모델을 만들 수 있습니다. 데이터 업로드, 예측변수 선택, 모델링, 결과 확인 및 검증, 배포 및 운영까지 총 5단계의 프로세스를 단 몇 번의 클릭만으로 진행할 수 있습니다. 사용자는 모델 Build를 위한 Data 하나만 준비하면 됩니다. 




비전공자도 할 수 있다! 참 쉬운 DataRobot(데이터로봇) 활용법f42afd55627ba69af4bdbae34edd83eb_1674781325_9026.png
이제 DataRobot 활용법에 대해 간단히 알아볼까요? 먼저 모델 Build를 위해 준비한 Data를 업로드 한 뒤, 무엇을 예측할지 Target(예측 변수)을 선택합니다. Target을 선정하면 DataRobot은 회귀/분류와 같이 어떤 유형 예측 문제를 풀어야 하는지 자동으로 인식합니다. 또한, Training을 위한 세부 옵션을 조정하여 높은 성능의 모델링을 수행할 수도 있습니다. Start 버튼을 누르면 모델링이 시작되고 DataRobot은 수십개의 알고리즘과 파라미터를 변경하며 수백만개의 경우의 수를 자동으로 수행한 후, 최적의 모델을 추천해 줍니다. *Leader board 가장 상단의 *Champion Model이 성능지표 기준으로 가장 좋은 모델로 추천된 결과이며, 모델에 대해 상세한 Insight도 제공해 준답니다.
*Champion Model : 가장 좋은 성능을 가진 모델
*Leader Board : 토너먼트를 거친 모델들의 순위 리스트를 보여주는 화면

또한 Leader board의 머신러닝  모델 리스트 중 원하는 모델을 클릭하면 해당 모델에 대한 정보를 확인할 수 있는데요. 모델의 성능이나 학습된 Feature의 중요도, 영향도 등을 다양한 그래프를 통해 제공하고 있기 때문에 사용자는 각 모델에 대한 해석력을 가질 수 있습니다. 배포 역시 어렵지 않습니다. 원하는 모델을 선택한 후 Deploy 버튼을 누르기만 하면 됩니다.

​만약 모델의 성능을 좀더 향상시키고 싶다면 고급 옵션을 변경하거나 모델 해석을 참고로 Feature를 조정하여 원하는 방식으로 모델을 재학습 시킬 수 있습니다.


데이터 분석부터 모델 관리까지 간편하게
f67525f6e0b66200166bd42655409c70_1674786632_4872.png
최적의 모델을 선정하는 Blueprint 기능

DataRobot(데이터로봇)은 세계 최고 수준의 데이터 사이언티스트들이 데이터에 적합한 Feature Engineering  및 알고리즘 적용 프로세스를 Blueprint라는 Map 형태로 솔루션에 이식시켜 놓았습니다. 때문에 사용자는 최고 수준의 분석 노하우를 DataRobot(데이터로봇)을 통해 바로 사용할 수 있는 거지요. 게다가 최신 알고리즘이 분기에 몇백 개씩 지속적으로 업데이트 되어 언제나 최신 기술을 적용할 수 있습니다. 매일 최신 논문들이 쏟아져 나오는 알고리즘을 사람이 매번 공부하지 않고도 쉽게 분석에 사용해 볼 수 있는 것이죠. 분석가들이 실제 프로젝트에서 사용하는 알고리즘은 10가지를 넘지 않는 경우가 많음을 고려하면, 수백개의 최신 알고리즘을 자동으로 적용해볼 수 있는 DataRobot이 얼마나 효율적인지 감이 오시죠?
*Feature Engineering : 최적의 변수 집합과 최적의 데이터 인코딩 및 정규화를 찾는 과정

효율적인 모델 관리
이렇게 배포된 모델은 MLOps라는 모델 배포/관리 모듈을 통해 중앙 집중식 대시보드에서 관리할 수 있습니다. 서비스 상태나 사용량 등도 실시간으로 확인할 수 있으며, 정확도가 떨어진 모델을 재학습시켜 서비스 중단 없이 업데이트 할 수도 있습니다.


DataRobot(데이터로봇)으로 역량을 키워나가세요!
f42afd55627ba69af4bdbae34edd83eb_1674781509_9246.jpg
몇 번의 클릭만으로 큰 만족을 얻을 수 있는 DataRobot(데이터로봇)! 특히 제가 겪었던 고민을 현재 하고 있는 CDS나 기업이 있다면 DataRobot(데이터로봇)의 도입을 고려해보세요. DataRobot(데이터로봇)을 통해 CDS는 업무 역량을 키울 수 있고, 기업에서는 데이터 활용을 통해 페인 포인트를 해결할 수 있습니다!


​머신러닝 자동화 플랫폼 SK㈜ C&C DataRobot(데이터로봇)
- 전 데이터 분석 과정을 End-to-End로 지원
- 단 몇 번의 클릭만으로 AutoML 진행 가능
bdc432fad8cd038e462fe54b62c3c4f8_1674111810_6689.png



705e87c2e0db6a80ac66575a11229c93_1673247210_9027.png