2024 급부상 트렌드 – 온디바이스 AI란?
Chloe Woo | Content Strategist
2024년 1월, 삼성전자가 세계 최초로 AI 스마트폰을 내놓으며 화제가 되었습니다. 사실 음성비서를 비롯한 AI 기능을 활용한 지는 꽤 됐지만, 이번에 출시된 AI 폰은 기존에 비해 성능도 훨씬 좋았지만, 특히 “인터넷에 연결되지 않아도 AI를 사용할 수 있다”는 것이 다른 점이었죠.
이를 ‘온디바이스(On-Device) AI’라고 부릅니다. 제조 현장의 여러 문제를 AI로 해결하고 있는 아하랩스 팀 또한 현장에서 온디바이스 AI에 대한 수요가 급증하고 있음을 체감하고 있는데요. 이번 아티클에서는 2024년 상반기를 휩쓴 온디바이스 AI란 과연 무엇인지 알아보겠습니다.
1. 온디바이스 AI란?
(1) 개념
온디바이스 AI는 엣지(말단) 기기에서 AI가 실행되는 기술입니다. 사전에 학습한 AI 모델을 스마트폰이나 가전 기기, 제조 현장 내 PC 등에 설치해서 씁니다. 인터넷 연결 없이도 AI 기능을 사용할 수 있죠. 기기 자체에서 데이터를 학습하고 모델을 업데이트하는 기능도 있습니다.
(2) 기존 클라우드 기반 AI의 문제
기존 클라우드 기반 AI는 다릅니다. 먼저 데이터를 클라우드 서버로 전송합니다. 이를 대규모 컴퓨팅 자원을 이용해 연산합니다. 그리고 그 결과를 다시 개인 기기로 보내죠.
하지만 여러 문제가 있습니다. 컴퓨팅 리소스와 전력을 과도하게 사용합니다. 예컨대 챗GPT의 하루 연산 비용이 무려 70만 달러(약 9억 원)에 달한다는 추산이 있습니다. 데이터가 클라우드 서버로 전송되기 때문에 민감한 정보가 유출될 위험도 있습니다. 삼성전자 반도체 엔지니어가 기밀에 해당하는 프로그램 소스 코드를 챗GPT에 올리면서 보안에 대한 우려가 현실화됐죠.
이런 문제를 해결하기 위한 솔루션으로 온디바이스 AI가 급부상한 것입니다.
기존 클라우드 AI(위)와 온디바이스 AI(아래)의 작동원리 차이를 나타내는 그림. 기존의 클라우드 기반 AI는 데이터를 클라우드 서버로 전송해 대규모 컴퓨팅 자원을 이용해 연산한 뒤, 그 결과를 다시 개인 기기로 보내는 방식입니다. 반면에 온디바이스 AI는 사전에 학습을 마친 AI 모델을 기기에 탑재해서 인터넷 연결 없이도 AI 기능을 사용할 수 있습니다. Image Credit : AHHA Labs
2. 온디바이스 AI의 장점
온디바이스 AI는 인터넷 연결 없이 엣지 기기에서 작동한다는 특성 덕분에 아래와 같은 장점이 있습니다.
(1) 데이터 보안 향상
기기 안에서 데이터를 처리하므로 외부로 유출될 위험이 낮습니다. 민감한 개인정보와 기업 기밀정보를 보호할 수 있죠. 실제로 최근 기업들이 보안을 위해 온디바이스 AI를 고려하는 추세가 나타나고 있으며, 최근 출시된 스마트폰 실시간 통역 기능도 개인간 대화를 보호하기 위해 온디바이스 AI로 구현되었습니다.
(2) 지연 시간 감소
데이터를 서버로 전송하지 않기 때문에 처리 속도가 빠릅니다. 기기의 반도체 성능만 충분하다면, 클라우드 기반 AI보다 더 빠른 응답을 기대할 수 있죠. 전화 통역처럼 실시간 응답이 필요한 경우, 제조 현장에서 빅데이터를 처리하면서 동시에 택타임(Tact time; 요구하는 생산 목표를 달성하기 위해 제품 하나를 생산하는 데 필요한 시간)을 맞춰야 하는 경우에 유용합니다.
(3) 비용 및 에너지 절감
AI 모델이 클수록 학습과 추론에 필요한 GPU 개수와 전력량이 증가합니다. 그러나 온디바이스 AI 모델은 훨씬 작습니다. 상대적으로 작은 엣지 기기에서 작동해야 하기 때문이죠. GPU 비용과 전기료를 절감할 수 있습니다.
삼성전자의 실시간 전화 통역/메시지 번역 AI 화면 예시. 개인 간 대화는 매우 민감한 개인정보이기 때문에 온디바이스 AI로 처리하게끔 설계됐다. – Image Credit : Samsung Newsroom
3. 온디바이스 AI를 도입하고자 할 때 고려해야 할 제한 사항들
많은 장점이 있지만, 아직 해결해야 할 과제들이 있습니다. 산업 현장에 온디바이스 AI를 도입하고자 할 때는 다음 사항을 반드시 고려해야 합니다.
(1) 하드웨어 제한
온디바이스 AI는 하드웨어 성능에 크게 의존합니다. 고성능 AI를 구현하려면 강력한 처리 능력을 가진 하드웨어가 필요하지만, 모든 기기가 이를 충족할 수 있는 건 아니죠. 예를 들어, 산업 현장에는 이미 저사양의 PC가 설치돼 있는 경우가 흔합니다. 고급 AI를 실행하기 어려울 수 있죠. 그렇다고 PC 전체를 교체하기에는 초기 투자 비용이 너무 커지게 됩니다.
당면한 문제를 풀 수 있는 고성능 AI를 작동시킬 수 있으면서 가격도 저렴한 하드웨어를 찾는 것은 가장 먼저 해결해야 할 어려움입니다.
(2) 모델 크기와 성능의 균형
온디바이스 AI 모델은 필수적으로 작아야 합니다. 작은 엣지 기기의 하드웨어 성능을 무한정 늘릴 수 없기 때문이죠. AI 모델의 크기는 줄이면서도 성능은 떨어지지 않게 한다는 건 매우 어려운 일입니다. 이렇게 모델의 크기와 성능 사이의 균형을 맞추는 기술을 ‘모델 경량화’라고 합니다.
✓ 모델 경량화 기술 자세히 알아보기
(3) 배포와 업데이트의 어려움
온디바이스 AI 모델은 각 엣지 기기에 배포하고 업데이트 해야 합니다. 예를 들어, 제조 라인에 설치돼 있는 각 PC에 사용자가 일일이 설치하고 업데이트 해야 할 수도 있다는 뜻이죠. 따라서 엣지 기기가 많은 산업 현장에서는 AI 모델을 일괄 배포하고 업데이트할 수 있는 별도의 전략(예: 배포 자동화)이 필요합니다.
마치며
온디바이스 AI를 제대로 활용하려면 적절한 하드웨어를 선택하고 딥러닝 모델을 경량화 해야 합니다. 또한, 배포와 업데이트 전략도 별도로 마련해야 하죠. 특히 방대하고 다양한 종류의 데이터를 빠르게 다뤄내야 하는 제조 현장일수록 더 많은 한계점을 맞닥뜨릴 수 있습니다.
산업용 AI 전문 기업인 아하랩스는 제조 현장에 온디바이스 AI를 구현하기 위해 적극 준비하고 있습니다.
Anomaly Detector를 비롯한 다양한 이상탐지 딥러닝 모델을 경량화/최적화하고 있습니다. 또, 데이터 수집부터 모델 개발/배포/업데이트까지 모든 단계를 하나의 플랫폼 위에서 매끄럽게 수행할 수 있는 AIOps 제품을 2024년 하반기에 공개할 예정입니다.
온디바이스 AI를 제대로 활용하려면 최적화된 하드웨어를 선택하는 것이 굉장히 중요한데요. 아하랩스 팀은 다년 간의 양산 적용 경험 및 노하우를 바탕으로 한 고객 맞춤 하드웨어 컨설팅이 가능합니다.
산업 현장에 온디바이스 AI를 적용하기 위한 A to Z를 아하랩스의 제조 AI 전문가 팀과 함께해보세요.
<더 읽어보기>
<아하랩스 제품>