MLOps(머신러닝 개발 전주기 자동화) 플랫폼이란?

2024년 현재 제조업은 매우 빠르게 변화하고 있습니다. 물리적 시스템의 디지털 복제본을 만들어 실시간 모니터링과 시뮬레이션을 수행하는 ‘디지털 트윈‘, 머신러닝과 IoT를 활용해 장비 고장을 예상하고 사전에 대응하는 ‘예지보전(예측 유지보수)’, 공정 자동화와 최적화를 추구하는 ‘스마트 제조’, 환경 친화적 공정을 통해 탄소 발자국을 줄이는 ‘지속 가능한 제조‘, 애플리케이션을 클라우드 환경에서 구축해 확장성과 유연성을 확보하는 ‘클라우드 네이티브‘, 그리고 이러한 복잡한 IT 환경에서 시스템 전반의 내외부 상태를 확인하고 이해하는 능력인 ‘관측가능성(Observability)’ 등 다양한 기술 트렌드가 접목되고 있죠.  

이런 최신 기술을 적극 도입하면 변화하는 시장 환경에 빠르게 대응하고 비즈니스 성과를 극대화할 수 있는데요. 특히, 이런 목표를 달성하는 데 end-to-end MLOps 플랫폼이 중요한 역할을 할 수 있습니다. 

MLOps(머신러닝 개발 전주기 자동화)란?

MLOps(Machine Learning Operations)는 머신러닝 모델의 개발, 배포, 운영을 자동화하고 최적화하는 엔지니어링 방법입니다. 시스템 개발과 운영을 통합한 *데브옵스(DevOps) 방법론을 확장한 것이죠. 이를 위한 다양한 도구와 프레임워크를 제공하는 시스템을 ‘MLOps 플랫폼’이라고 하는데요. 특히 아하랩스의 Data CAMP와 LISA처럼 데이터 수집부터 지속적인 운영까지 머신러닝 프로젝트의 전체 수명 주기 단계를 모두 관리할 수 있는 종합 솔루션을 end-to-end MLOps 플랫폼이라고 부릅니다. 주요 구성 요소와 특징은 다음과 같습니다. 

• 데브옵스(DevOps, Development 개발 + Operations 운영) : 소프트웨어의 개발과 운영을 통합하는 방법론입니다. 개발팀과 운영팀 간의 협업을 강화해 소프트웨어를 지속적으로 통합하고 배포하여 효율성, 협력, 속도, 안정성을 높이는 것이 목표입니다.  

MLOps의 주요 구성 요소와 특징

1. 데이터 준비

• 데이터 수집 및 통합: 다양한 소스에서 데이터를 수집하고 통합합니다. 
• 데이터 전처리: 데이터를 자동으로 정제하거나 변환하여 모델 학습에 적합한 상태로 만듭니다. 

✓ 아하랩스가 제조 현장의 수많은 설비로부터 데이터를 일괄 수집하고 MES와 자동 통합시키는 비결이 궁금하다면 아래 아티클을 참고하세요.

2. 모델 개발

• 모델 학습: 데이터 분포에 따른 학습 파라미터(모델을 학습할 때 필요한 세팅 값)를 자동으로 튜닝하고, 다양한 알고리즘을 사용해 모델을 학습시킵니다. 

• 실험 관리: 다양한 모델의 실험 결과를 추적하고 비교하여 사용자가 최적의 모델을 선택할 수 있도록 지원합니다. 

✓ 머신 비전 인스펙션에 활용하는 다양한 알고리즘에 대해 더 알아보세요.

3. 모델 배포 및 관리

• 모델 배포: 학습된 모델을 프로덕션 환경에 배포하고, API 또는 실시간 서비스를 통해 모델 추론 결과를 제공합니다. 
• 버전 관리: 모델의 버전을 관리하고, 새로운 버전이 배포될 때마다 자동으로 업데이트합니다. 코드, 데이터, 모델의 변경 사항을 쉽게 추적함으로써 데이터 과학자, 개발자, 운영자 등 다양한 팀이 서로 매끄럽게 협업할 수 있도록 지원합니다.  

✓ 아하랩스의 MLOps 플랫폼 LISA가 불량 음료캔을 실시간으로 감지하는 실제 시연 영상을 확인해보세요.  

4. 모델 모니터링 및 유지보수

• 모델 성능 모니터링: 배포된 모델의 성능을 실시간으로 모니터링하고, 이상 징후를 감지합니다. 재학습을 위한 데이터셋을 추천하거나, 자동 재학습 및 재배포를 통해 성능을 유지합니다. 
• 데이터 드리프트(품질이 저하되는 현상) 감지: 입력 데이터의 분포가 변경되는 것을 감지함으로써 데이터 품질이 저하되는 현상을 조기에 발견하고 빠르게 대응할 수 있도록 지원합니다.  

✓ 아하랩스가 비전 인스펙션 애플리케이션에서 데이터 드리프트 감지에 성공한 사례를 더 알아보세요. 

5. 협업 및 재현성

• 협업 도구: 팀 간의 협업을 지원하는 기능과 인터페이스를 제공합니다. 
• 재현성 보장: 모델 학습 및 배포 과정을 재현할 수 있도록 모든 로그와 메타데이터를 기록하고 관리합니다. 

6. 확장성 및 유연성

• 클라우드 및 온프레미스 환경에서 모두 작동할 수 있도록 유연한 인프라를 지원합니다. 
• 다양한 머신러닝 프레임워크(여러 라이브러리나 모듈을 묶어놓은 일종의 패키지)와도 매끄럽게 호환할 수 있도록 지원합니다.