산업 현장에 온디바이스 AI를 도입해야 하는 이유
Chloe Woo | Content Strategist
이전 아티클에서 온디바이스 AI의 개념과 장점에 대해 알아보세요.
최근 LLM 서비스들의 속도가 무척 느려졌는데, 실감하고 계신가요? 생성형 AI 열풍으로 더 다양한 기능, 더 높은 성능을 구현하기 위해 모델의 크기가 급증한 탓인데요. 실제로 2012년 AlexNet 이후 AI 모델의 크기는 매년 10배씩 성장했습니다. 그런데 그에 따라 속도가 느려졌다는 건, 하드웨어가 이를 따라잡지 못하고 있다는 뜻이죠. 수십억 개의 파라미터로 구성된 대형언어모델 같은 AI가 세상을 혁신하는 것은 맞지만, 이를 뒷받침하는 물리적 인프라가 필수라는 이야기입니다.
이에 따라 클라우드, 즉 서버에 대한 투자가 증가하고 있는데요. 실제로 생성형 AI의 수요 증가로 인해 미국의 주요 빅테크 기업들이 데이터센터 확충에 나서고 있습니다. 예를 들어, 아마존은 일본에 클라우드 서비스를 위한 인프라 구축에 4년간 20조 원을 투자할 계획이라고 밝혔습니다. 이 외에도 다양한 기업들이 데이터센터를 확장하고 있고요.
하지만… 이런 조치가 만능은 아닙니다. 클라우드 기반 AI를 사용하는 기업은 여러 어려움에 직면해 있습니다.
기업이 당면한 어려움
1. 막대한 반도체 비용/클라우드 사용료
이제 AI 시장은 단순 학습이 아닌, 추론 시장으로 이동하고 있습니다. 다시 말하자면, 학습을 완료한 AI를 산업현장에 실제로 적용해서 유의미한 결과를 내고 있다는 뜻입니다. 앞으로 이런 추세는 더욱 가속화될 것입니다.
AI 시장은 단순 학습이 아닌, 추론 시장으로 이동하고 있습니다. Image Credit: Omdia, 삼성증권
문제는 반도체 비용과 클라우드 사용료가 만만치 않다는 점입니다. 예컨대, 챗GPT의 하루 연산 비용이 무려 70만 달러(약 9억 원)에 달한다는 추산이 있죠. 또한, OpenAI는 반도체 구매 비용을 줄이기 위해 자체 AI 반도체 생산을 고려할 정도라고 합니다.
기업들은 뛰어난 성능의 LLM 및 AI를 활용하기 위해 값비싼 반도체를 구매하고 막대한 클라우드 사용료를 지불해야 할 처지가 되었습니다. 어쩌면 AI를 도입하여 얻을 수 있는 효용보다, 운영비가 더 높아질 가능성도 있습니다.
Image Credit: Nvidia
2. 투자 악화로 인한 기존 장비 활용 요구
최근 많은 기업들이 투자 여건의 악화로 인해 기존 공장을 개선하는 프로젝트에 집중하고 있습니다. 이런 맥락에서 기존에 사용하던 수백, 수천 대의 PC를 교체하지 않고 딥러닝을 수행하고자 하는 요구가 늘어나고 있죠.
하지만 실상은 AI 도입이 까다로운 환경인 경우가 많습니다. 제조 현장에 산업용 AI 적용을 도와드리고 있는 아하랩스 팀은 최근 현장의 여러 제한 사항들을 실제로 맞닥뜨리고 있는데요. 예를 들어, 기존에 보유한 PC에 AI를 돌리기 위한 GPU를 설치할 수 없는 경우 등이 있습니다.
이러한 이유로 제조 기업들이 최근 온디바이스 AI 기술에 관심을 기울이고 있습니다.
산업현장에 온디바이스 AI를 사용할 때 장점
1. 클라우드 및 에너지 사용 절감
산업 현장에 온디바이스 AI를 활용하면 클라우드 사용료를 크게 절감할 수 있습니다. 딥러닝을 엣지 기기에서 수행하기 때문에 대규모 데이터 전송 및 클라우드 서버 사용에 따른 비용을 줄일 수 있죠.
또한, 경량화된 온디바이스 AI 모델을 활용하면 연산 자원을 최소화할 수 있고, 저전력으로도 효율적인 성능을 발휘할 수 있습니다. 에너지 소비를 줄일 수 있는 것이죠. 장기적으로 볼 때, 온디바이스 AI는 제조 기업의 AI 활용을 지속 가능하게 만들어 줍니다.
2. 하드웨어 투자비 절감
기존 로컬 장치의 자원을 최대한 활용해 비용 효율성을 높일 수 있다는 것도 온디바이스 AI의 장점입니다.
앞서 최근 많은 기업들이 값비싼 GPU 없이 딥러닝을 수행하고자 하는 요구가 늘어나고 있다고 언급했는데요. GPU의 본래 목적은 컴퓨터 그래픽 처리로, 그래픽 처리와 AI 연산이 비슷하기 때문에 그간 GPU가 사용돼 왔습니다. 하지만 본래 AI 용도가 아니기 때문에 비용이나 전력소모 등 비효율적인 부분이 있죠.
이를 극복하기 위해 최근 AI 연산 특화로 설계된 하드웨어 가속기인 NPU, TPU 등 새로운 프로세서가 사용하고 있습니다. 주로 엣지 디바이스에서 AI 연산을 위해 사용되며, GPU보다 범용성은 떨어지지만 값이 저렴하고 에너지 효율적이라는 장점이 있습니다.
바로 이처럼 가속기를 더한 온디바이스 AI를 도입하면 하드웨어 투자비를 절감할 수 있습니다.
3. 실시간 데이터 처리 및 분석
온디바이스 AI는 데이터 생성 지점에서 직접 데이터를 처리하고 분석할 수 있습니다. 이는 실시간으로 의사결정을 내릴 수 있게 하여, 생산 라인에서의 즉각적인 품질 관리와 결함 검출, 기계의 실시간 상태 모니터링과 예측 유지보수를 가능하게 하죠. 실시간 분석을 통해 생산 중단을 최소화하고, 제품 품질을 향상시키며, 운영 효율성을 극대화할 수 있습니다.
뿐만 아니라 클라우드로 데이터를 전송하는 과정에서 발생하는 네트워크 지연을 최소화할 수 있습니다. 이는 지연 시간이 중요한 산업용 로봇, 자율주행 차량, 스마트 제조 공정 등에서 필수적입니다. 즉각적인 피드백과 조치를 통해 안전성과 생산성을 높일 수 있습니다.
또한, 본질적으로 네트워크 연결이 불안정하거나 불가능한 환경에서도 독립적으로 작동할 수 있습니다. 이는 원격지, 해양, 우주 등 네트워크 접근성이 낮은 장소에서도 AI 솔루션을 안정적으로 운영할 수 있게 합니다. 네트워크 장애 시에도 지속적인 서비스 제공이 가능하여 시스템의 신뢰성과 가용성을 높이게끔 도와주죠.
Image Credit: HAILO
4. 데이터 보안 및 프라이버시 강화
온디바이스 AI는 민감한 데이터를 현장에서 직접 처리하여 외부로 전송하지 않음으로써 데이터 유출 위험을 줄이고 보안을 강화합니다. 특히, 의료, 금융, 군사 등 고도의 보안이 요구되는 산업에서 데이터의 로컬 처리와 암호화는 매우 중요한 역할을 합니다. 데이터 프라이버시 보호 규제를 준수하면서도 고성능 분석을 수행할 수 있습니다.
5. 확장성 및 유연성
온디바이스 AI는 개별 디바이스를 추가함으로써 시스템을 손쉽게 확장할 수 있습니다. 즉, 다양한 요구 사항에 유연하게 대응할 수 있다는 뜻인데요. 예컨대 생산 라인의 변화, 새로운 제품 라인의 도입 등 변화하는 산업 환경에 빠르게 적응할 수 있게 해줍니다.
특히, 온디바이스 AI는 경량화된 모델로 특정 산업 및 현장의 요구 사항에 맞춘 맞춤형 AI 솔루션을 제공합니다. 산업별로 특화된 문제 해결과 생산성 향상을 가능하게 합니다.
산업 현장 온디바이스 AI 구현 전략
산업 현장에서 온디바이스 AI(Edge AI)를 구현하는 전략은 여러 가지 요소를 고려해야 합니다. 주요 전략은 다음과 같습니다.
- 하드웨어 구성: 산업 현장에서 사용할 장비는 충분한 메모리를 갖춘 것이어야 하며, 환경적 요인을 견딜 수 있는 내구성이 필요합니다. 또한, 고성능 AI 연산이 필요한 경우 NPU나 TPU 같은 전용 AI 칩셋을 사용하는 것이 유리합니다.
- 알고리즘 개발: 온디바이스 AI는 제한된 하드웨어 자원을 사용하므로, 모델 경량화(모델 프루닝, 양자화 등)를 통해 알고리즘을 최적화해야 합니다.
- 네트워크 설정: 말단 기기로부터 데이터를 수집하고, NPU 가속기가 이더넷을 통해 데이터과 연산 값을 원활하게 주고받을 수 있도록 네트워크 환경을 구성합니다.
- 시스템 통합: 온디바이스 AI 솔루션을 기존의 시스템과 원활하게 통합하여 운영의 효율성을 높입니다. 필요한 경우 기존 시스템이 NPU 등 가속기를 인식하고 활용할 수 있도록 드라이버 및 소프트웨어를 설치합니다.
- 데이터 수집 및 전처리: 현장에서 발생하는 데이터를 실시간으로 수집하고, 전처리 작업을 통해 AI 모델에 맞게 변환합니다.
- 로컬 인퍼런스: AI 모델을 엣지 디바이스에 탑재하여 실시간으로 데이터를 처리하고, 결과를 빠르게 반영합니다.
- 보안 강화: 데이터 암호화, 접근 제어, 인증 등을 통해 산업 현장에서의 보안을 강화합니다.
- 시스템 모니터링: 디바이스의 상태를 지속적으로 모니터링하고, 이상 징후를 감지하여 빠르게 대응할 수 있도록 합니다.
- 지속적인 업데이트: AI 모델 및 소프트웨어를 지속적으로 업데이트하여 최신 상태를 유지하고, 성능을 향상시킵니다.
지금 바로 아하랩스 전문가 팀과 상의하세요!
아하랩스는 다년간 수많은 고객사의 글로벌 제조 현장에 직접 AI를 도입하고 실제 양산 라인에서 직접 기술 지원을 해온 풍부한 경험이 있습니다. 이를 통해 제조 현장에 AI를 도입하고자 할 때 발생할 수 있는 문제와 대응 방안에 대해 깊이 이해하고 있으며, 현장 상황에 따라 어떤 전략을 수립해야 하는지에 대한 전문성을 갖추게 되었습니다.
2024년 하반기, 아하랩스는 반 발짝 또 앞서 나갑니다. 제조 현장의 다양한 설비로부터 데이터를 일괄 수집하고 분석할 수 있는 Data CAMP 솔루션과, 비지도 산업용 AI 학습/배포 플랫폼인 LISA의 기능이 모두 통합된 AIOps(머신러닝 개발 전주기 자동화) 플랫폼이 출시됩니다. 또한, 제조 현장에서 표면결함 검사, 설비 예지보전 등을 수행할 수 있는 자체 산업용 AI 모델을 경량화하고 NPU 칩 제조사와 협력하여 산업 현장에 온디바이스 AI를 저렴하면서도 효율적으로 도입/활용하기 위한 준비를 하고 있습니다.
온디바이스 AI 전략을 고민하고 계신다면, 다양한 경력을 가진 제조 데이터 및 산업용 AI 전문가로 구성된 아하랩스 팀과 지금 바로 상의하세요!