인공지능이 여는 학술대회, 연합학습! – 개념, 적용 사례
2023-11-09
![Shutterstock_1863974647](http://ahha.ai/wp-content/uploads/2023/11/Shutterstock_1863974647.jpg)
AI 머신러닝[1]은 방대한 데이터를 통한 학습이 필수입니다. 이를 위해 먼저 중앙 서버에 방대한 데이터를 수집한 다음, 고성능 컴퓨팅 리소스를 사용하여 데이터를 학습시켜야 하죠. 더 많은 데이터를 활용할수록 더 효과적으로 학습할 수 있습니다. 그 결과 소비자에게 더 좋은 개인 맞춤형 서비스를 제공하거나 산업적 목적을 위한 더 정확한 예측을 할 수 있는 AI를 제공할 수 있습니다.
하지만 이와 동시에 개인정보 침해와 산업 데이터 유출에 대한 우려가 커지고 있습니다. 예를 들어, 글로벌 기술 대기업들은 광범위한 개인 정보를 사용해 AI 모델을 학습시키는데요. 이 과정에서 소비자는 자신의 어떤 데이터가 수집되어 활용됐는지 정확한 범위를 파악하기가 어렵습니다. 이 때문에 규제 당국은 개인정보 보호 및 데이터 보안 규정을 점점 더 강화하고 있고요. 실제로 2023년 5월, 유럽연합(EU)은 유럽의 개인정보보호법(GDPR)을 위반한 Meta에 13억 달러의 벌금을 부과했습니다.[2] 무단으로 개인정보를 전송했다는 것이 이유였습니다.
문제는 데이터 활용에 대한 수요가 지속적으로 증가하고 있다는 점입니다. 이런 맥락에서 최근 기존 규제를 위반하지 않으면서 다양한 데이터 소스를 활용해 AI를 고도화할 수 있는 방법으로 연합학습(Federated Learning)[3]이 급부상하고 있는데요. 이번 글에서는 연합학습이 무엇이고, 산업계에 미칠 잠재력이 어떨지 알아보겠습니다.
연합학습이란?
연합학습은 데이터를 중앙 집중화할 필요 없이 다양한 위치에 저장된 데이터로 AI 모델을 학습시킬 수 있는 기술입니다. 시장조사업체 Emergen Research에 따르면, 전세계 연합학습 시장 규모는 2021년에 1억 1,270만 달러에 달했습니다. 2032년까지 연평균 10.5%의 성장률을 보일 것으로 예상됩니다.[4]
(1) 개념
연합학습에서는 서로 다른 위치에 저장된 데이터가 중앙 서버로 전송되지 않습니다. 대신, 공통(global) AI 모델이 중앙 서버에서 각 위치로 전송되죠. 그리고는 로컬에 저장된 데이터를 학습해 각각 개선됩니다. 그리고 학습 결과로 나온 *’가중치’라는 값이 중앙 서버로 다시 전송됩니다. 중앙 서버는 가중치 평균값을 구하여 공통 AI 모델을 개선합니다.
전체 과정을 반복합니다. 그 결과, 중앙 서버의 공통 AI 모델은 점점 더 일반화되고, 개별 위치의 AI 모델은 점점 더 정확해집니다.
- 가중치(weight) : 각 입력 값이 출력에 미치는 중요도를 조절하는 매개변수입니다. 머신러닝은 입력과 출력을 활용해 적절한 매개변수 값을 결정하는 과정입니다.[5]
구글은 연합학습을 ‘인공지능이 개최하는 학술대회’라고 비유합니다.[6] 의사는 학술대회에서 환자 치료 경험을 공유합니다. 그러면 직접 경험이 없는 다른 의사들은 특정 증상이나 치료법에 대한 배울 수 있죠. 서로 토론해서 개선된 치료법을 개발하기도 합니다. 여기서 의사들은 질병 및 치료와 관련한 정보만 교환합니다. 환자의 개인정보를 공유하는 것이 아니라요. 연합학습도 마찬가지입니다.
(2) 이점
연합학습을 활용하면 무엇보다 데이터 유출과 관련된 우려를 줄일 수 있습니다. 실제 데이터 자체가 아니라 데이터가 어떻게 처리되었는지에 대한 정보를 중앙 서버로 전송하기 때문이죠. 그 밖에도 몇 가지 장점이 부가적으로 따라옵니다.
– 리소스 절약 : 방대한 양의 데이터를 한 곳에 저장하는 것은 시간과 비용이 많이 듭니다. 예를 들어, 현재 연구 중인 자율주행자동차는 시간당 수 TB의 데이터를 생성하는데요. 머신러닝을 위해 모든 자율주행 차량의 데이터를 클라우드에서 수집하려면 시간과 비용이 엄청나게 많이 소요되죠. 하지만 연합학습을 사용하면 각 차량이 모델을 학습하고 그 결과만 네트워크에 전송합니다. 따라서 중앙 서버에서 처리해야 하는 데이터의 양이 크게 줄어듭니다. 그 결과 데이터 전송, 계산, 데이터 저장에 드는 비용을 절감할 수 있습니다.
– 신뢰성 향상 : 편향되지 않고 정확한 AI 모델을 구축하려면 상당한 양의 데이터가 필요합니다. 연합학습은 여러 소스로부터 모델을 학습하여 AI 모델의 신뢰성을 향상시킵니다.
– 편의성 : 연합 학습은 여러 위치에서 데이터 세트를 유지 관리하고 각 데이터 세트로 AI 모델을 동시에 학습할 수 있어서 효율적입니다. 또한 중앙 집중식 서버에서 개선된 AI 모델을 개별 위치에 즉시 배포할 수 있습니다. 따라서 향상된 AI 기능을 즉시 활용할 수 있습니다.
아하랩스가 제조 전 공정의 데이터를 한번에 수집하는 방법을 알아보세요
해결해야 할 과제[9]
연합학습은 아직 해결해야 할 기술적 문제도 많습니다. 가장 주요한 문제가 최적화인데요. 이와 관련해 네 가지 주요 과제가 있으며, 최근 이를 해결하기 위한 연구가 활발하게 이뤄지는 추세입니다.
(1) 비싼 통신 비용
각 장치와 중앙서버 간의 통신은 연합학습 네트워크에서 중요한 병목 현상을 유발할 수 있습니다. 실제로 연합 네트워크는 수백만 대의 스마트폰과 같은 방대한 수의 디바이스로 구성될 가능성이 있으며, 네트워크 내 통신은 로컬 계산보다 몇 배나 느릴 수 있습니다. 따라서 통신 효율이 높은 방법을 개발해야 합니다. 이때, (i)총 통신 횟수를 줄이거나 (ii)회당 전송되는 데이터의 크기를 줄이는 두 가지 방법을 고려할 수 있습니다.
(2) 시스템적 이질성
각 장치의 저장, 계산, 통신 성능은 하드웨어, 네트워크 연결, 배터리 수준 등으로 인해 다를 수 있습니다. 또한 각 장치의 제약 사항으로 인해 보통 한 번에 활성화되는 장치의 비율이 매우 작을 수도 있습니다. 각 장치는 신뢰하기 어려우며, 활성화된 장치가 중도에 연결이 끊어지는 경우도 흔합니다. 따라서 (i)낮은 참여율을 예상하고 (ii)이기종 하드웨어를 허용하며 (iii)네트워크에서 장치가 탈락할 경우 영향을 적게 받는 연합학습 알고리즘을 개발해야 합니다.
(3) 통계적 이질성
연합학습은 장치에서 수집한 데이터가 독립적이며 동일하게 분포되어 있다고 가정합니다(IID 조건, Independent Identically Distributed). 그러나 다양한 기기에서 생성되고 수집된 데이터는 그렇지 않은 경우가 많습니다. 또한, 기기마다 데이터 개수 등이 상당히 다를 수 있습니다. 이 경우 모델링, 분석, 평가의 복잡성이 가중될 수 있습니다.
적용 예시
연합학습은 개인정보 보호에 특히 민감한 맞춤서비스, 의료, 금융 분야에서 두드러지게 활용되는 추세를 보이고 있습니다.
(1) 개인별 맞춤 서비스
구글은 안드로이드의 구글 키보드인 Gboard에 연합학습을 적용하고 있습니다.[10] 이 키보드는 개인 사용자의 행동 패턴을 학습한 뒤, 사용자가 키보드를 사용할 때 알맞은 단어를 추천하는데요. Gboard에 추천 검색어가 표시되면, 사용자가 이를 클릭했는지 여부가 스마트폰에 로컬로 저장됩니다. 이 데이터를 로컬 AI가 학습하고요. 스마트폰이 충전되고 와이파이에 연결되어 있으며 사용 중이 아닌 상태(즉, 사용자가 잠든 야간에)일 때, 연합학습이 진행됩니다.
앞으로 스마트폰 뿐만 아니라 각종 개인 장치가 더욱 많아질 것입니다. 따라서 개인 맞춤 서비스에 대한 요구는 더욱 증가할 것입니다. 연합학습은 프라이버시 문제 때문에 사실상 데이터를 공유하기 어려운 환경에서 기업의 경쟁력을 차별화할 강력한 도구가 될 것으로 기대됩니다.
(2) 질병 식별
의료계에는 오랫동안 데이터 접근성 이슈가 있어 왔습니다. 질병 퇴치를 위한 인공지능을 발전시키려면 대부분의 경우 하나의 병원에서 생산할 수 있는 임계 값을 초과하는 대규모 데이터 세트가 필요한데요. 하지만 의료 정보는 매우 민감한 개인정보입니다. 따라서 미국 의료정보보호법(HIPAA)을 비롯해 국가별 규제를 통해 보호되고 있죠. 이 때문에 지금까지는 병원 간 협력을 통해 의료 AI를 연구하기란 거의 불가능했습니다.
최근에는 연합학습을 활용해 개인 의료 데이터를 직접 공유하지 않으면서 질환을 진단하는 AI 모델을 개선하는 연구가 속속 발표되고 있습니다.
한 예로, 인텔 랩과 미국 펜실베니아 대학교 페렐만 의과대학(펜 메디슨) 등 71개 연구팀이 연합학습을 활용해 악성 뇌종양을 식별하도록 돕는 AI 연구를 진행했습니다.[11][12] 이 프로젝트에 한국의 연세대 의대와 서울아산병원도 참여했습니다.
연구팀은 인텔의 오픈 소스 프레임워크인 오픈 연합학습(OpenFL)을 사용해 연합학습을 실행했습니다. 이 플랫폼은 6개 대륙에 걸쳐 총 6,314명의 뇌종양 환자의 370만 개의 이미지로 훈련되었습니다. 현재까지 가장 큰 뇌종양 데이터 세트입니다.
그 결과, 기존 뇌종양 데이터 셋(BraTS, 국제 뇌종양 세분화 2020 챌린지에서 공개적으로 사용했던 데이터)을 기반으로 학습한 동일 모델과 비교해 뇌종양을 탐지하는 비율이 33% 향상되었습니다.
특히 보건·의료 분야는 개인 데이터를 관리하는 주체가 다양합니다. 한 사람의 의료 데이터가 여러 병원에 분산 저장되어 있습니다. 질병 하나에 대한 의료 데이터도 여러 병원에 흩어져 있습니다. 따라서 의료 분야에서 향후 연합학습을 이용한 연구 개발이 더욱 활발해질 것으로 기대됩니다.
(3) 지능형 로봇의 집기 기능 개선[13]
공통 자동화 솔루션 기업 Festo는 카를스루에 공과대학, 워털루 대학 등 독일 및 캐나다 협력 기관들과 공동으로 FLAIROP 프로젝트를 진행하고 있습니다. 연합학습을 활용해 지능형 로봇이 물체를 지능적으로 잡을 수 있는 기술을 연구하죠. 민감한 기업 데이터를 공개하지 않으면서 복수의 작업대와 공장, 기업 등으로부터 수집한 데이터를 활용해 연합모델을 구축합니다. 최종적으로 로봇은 그동안 훈련 받지 않은 작업대에서도 물품을 잡을 수 있게 됩니다.
프로세스는 다음과 같습니다. 먼저, 중앙서버에서 초기 모델을 로컬 작업대로 전송합니다. 그리고 각 작업대에서 발생한 데이터를 기반으로 작업대에서 로컬 모델을 학습시킵니다. 이렇게 업데이트된 로컬 모델의 가중치가 중앙서버로 전송됩니다. 중앙서버에서 모든 작업대의 가중치가 수집되고 공통 모델을 업데이트합니다. 최적화된 업데이트 모델을 로컬 작업대로 전송합니다.
(4) 제조 공정의 예지보전
[논문] Federated Learning for Predictive Maintenance and Anomaly Detection Using Time Series Data Distribution Shifts in Manufacturing Processes[14]
이 논문에서는 제조 공정의 시계열 이상탐지 및 예지보전을 위한 모델(1DCNN-BiLSTM)이 제안됐습니다. 이 모델을 연합학습 프레임워크와 결합해 시계열 데이터의 분포 변화를 고려하고, 이를 기반으로 이상탐지 및 예지보전을 수행했고요. 연구팀은 펌프 데이터 세트를 활용해서 여러 연합학습 프레임워크와 시계열 이상탐지 모델의 조합 성능을 평가했습니다. 실험 결과, 제안된 프레임워크는 97.2%의 테스트 정확도를 달성했습니다. 이는 향후 실제 예지보전에 연합학습을 활용할 수 있다는 가능성을 보여주었습니다.
연합학습으로 촉발될 제조업 혁신
제조업을 최적화하려면 데이터와 AI를 활용한 의사결정이 중요합니다. 하지만 제조업, 특히 소규모 제조업체에게 이는 시간과 비용이 많이 드는 프로세스이죠. 데이터를 수집하거나 클라우드를 운영할 여력이 없을 수 있습니다. 또, 원본 데이터를 공용 클라우드에 공유하기를 주저하는 경우도 많습니다. 연합학습을 활용하면 이런 문제를 해결할 수 있습니다.
예를 들어, 어떤 대기업의 공장들이 산업단지 내에 흩어져 있다고 가정해보죠. 여러 공장에서 나온 데이터를 전부 머신러닝에 활용하면 좋지만, 막대한 데이터를 중앙 집중형으로 모으는 것 자체가 너무 비효율적일 수 있습니다. 연합학습을 활용하면 각 공장에서 모델을 학습시킨 뒤 가중치만 클라우드로 전송하므로, 보다 효율적인 모델을 구축할 수 있습니다.
유사한 유형의 기계를 보유한 여러 기업을 대상으로 예지보전, 품질 관리 AI 모델을 공동으로 학습시키는 활용 방안도 생각해볼 수 있습니다.[15] 이때, 기업의 데이터 자체는 외부로 공유하지 않기 때문에 독점 데이터의 보안을 유지할 수 있죠. 동시에 예지보전, 공정 최적화, 에너지 소비 최적화, 품질 관리 등의 성능은 향상시킬 수 있습니다. 더 효율적으로 생산하고 제품의 품질은 높이며 그 결과 고객 만족도를 향상시킬 수 있다는 측면에서 이러한 협력 프로세스에 참여하는 모든 기업에 이익이 돌아갈 수 있습니다.
공급망 분야에서도 활용이 기대됩니다. 공급망에는 다양한 이해 관계자가 섞여 있는데요. 각자의 데이터는 서로 오픈하지 않으면서 수요 예측, 재고 최적화, 물류 최적화를 가능케 해주는 공통 AI 모델을 훈련시킬 수 있습니다. 이를 확장하면 연합 디지털 트윈과 디지털 스레드를 구축할 수 있게 됩니다.
제조업 분야에서는 아직까지 연합학습이 많이 적용되지 않았습니다. 하지만 살펴본 것처럼 연합학습은 제조업을 혁신할 상당한 잠재력을 지니고 있습니다. 데이터 수집부터 시작해, 연합학습을 도입할 수 있는 준비를 차근차근 해나가야 할 것입니다.
스마트 팩토리 관련 다른 개념들이 궁금하다면 아래 기사도 읽어보세요.
Chloe Woo | Content Strategist
Reference
- Machine learning Wikipedia
- “뿔난 EU, 페이스북·인스타그램 모기업 메타에 ‘13억 달러’ 벌금 부과” 보안뉴스 2023.05.24
- Federated learning Wikipedia
- Emergen Research press releases 2023.02.06
- Artificial neural network Wikipedia
- “[Tech in Trend] 개인정보 침해 우려 줄이는 AI 알고리즘, 연합학습” 아주경제 2022.08.08
- 우상근, 연합학습의 이해와 주요 응용사례 분석 2023, KOITA
- OpenFL 홈페이지
- Tian Li et al. (2019), Federated Learning: Challenges, Methods, and Future Directions, arXiv:1908.07873v1.
- 구글 기술 블로그
- Press releases “Intel and Penn Medicine Announce Results of Largest Medical Federated Learning Study”
- “인텔 랩–펜 메디슨, 연합 학습 활용한 AI 공동 연구 진행” 지디넷코리아 2022.12.06
- Festo사 홈페이지
- Ahn J, Lee Y, Kim N, Park C, Jeong J. Federated Learning for Predictive Maintenance and Anomaly Detection Using Time Series Data Distribution Shifts in Manufacturing Processes. Sensors. 2023; 23(17):7331.
- arXiv:2302.13514
Related Stories
Mastering Real-Time Anomaly Detection with LISA: Your Gateway to Industrial Excellence
As the global manufacturing industry accelerates its transition towards smart factories, there is a growing interest in automated inspection, real-time anomaly detection, and predictive maintenance through machine vision. This interest is particularly pronounced in...
산업용AI 솔루션 LISA로 완벽한 실시간 이상 탐지를 경험해 보세요
전세계 제조 업계의 스마트팩토리 전환이 가속화되면서 머신 비전을 이용한 검사 자동화, 실시간 이상 탐지, 예지보전에 대한 관심이 뜨겁습니다. 특히 반도체나 이차전지 등 혁신 제조산업 현장에서는 하루에도 수천 수만 개의 부품·제품들이 생산되는데, 사람이 불량을 일일이 찾아낸다는 것이 불가능에 가까워졌죠. 또한, 이제 고객들은 미묘한 결함도 용납하지 않기 때문에 이 요구를 충족시키려면 신속하고 정확하게 불량을 짚어내는 AI 검사 자동화가 필수입니다. 아하랩스의 LISA(Look...
Why Data CAMP Is the Ultimate Choice for Digital Twins
The idea of a digital twin is to address real-world problems by rendering the physical world visible within a digital environment. Three key technologies are essential for creating a digital twin: Virtualization: This involves modeling the physical world in a virtual...
Data CAMP를 활용해 디지털 트윈의 첫걸음을 내디뎌 보세요
디지털 트윈 = 데이터를 가시화하여 현실의 문제를 해결한다 최근 화두로 떠오른 디지털 트윈은 디지털 환경에서 물리적인 현장을 모두 ‘가시화’해서 현실의 문제를 해결한다는 것이 핵심입니다. 디지털 트윈을 구현하는 데에는 핵심 기술 3가지가 필요한데요. 각각 물리 세계를 가상 세계에 모델링하는 가상화, 현실의 변화하는 각종 데이터를 실시간으로 반영하는 동기화, 그리고 모델링과 실시간 데이터를 활용해 해결하고자 하는 문제에 대한 최적의 답을 도출해내는 시뮬레이션입니다....
AI Researcher
Summary 경력(2~10년) 채용 형태 : 정규직 마감일 : 상시 채용 근무지 : 경기도 성남시 분당구 성남대로 43번길 10 (하나EZ타워) 712호 AI 팀을 소개합니다 AI팀은 AI연구소 소속으로, 자사의 Smart Factory Solution 중 AI모델과 서버를 개발하는 역할을 맡고 있습니다. 산업현장에서의 다양한 형태의 데이터를 기반으로, 오류를 검출하고 분류하는 AI 서비스를 모듈화하여 제공하는 업무를 진행합니다. 모델의 성능을 개선하기 위한 리서치 업무도...
산업 현장에 온디바이스 AI를 도입해야 하는 이유
이전 아티클에서 온디바이스 AI의 개념과 장점에 대해 알아보세요. 최근 LLM 서비스들의 속도가 무척 느려졌는데, 실감하고 계신가요? 생성형 AI 열풍으로 더 다양한 기능, 더 높은 성능을 구현하기 위해 모델의 크기가 급증한 탓인데요. 실제로 2012년 AlexNet 이후 AI 모델의 크기는 매년 10배씩 성장했습니다. 그런데 그에 따라 속도가 느려졌다는 건, 하드웨어가 이를 따라잡지 못하고 있다는 뜻이죠. 수십억 개의 파라미터로 구성된 대형언어모델 같은 AI가 세상을...
온디바이스 AI의 도전 과제 – 딥러닝 모델 ‘경량화’
이전 아티클에서 온디바이스 AI의 개념과 장점에 대해 알아보세요. 클라우드 기반의 대형언어모델(LLM)은 비교적 작은 모델도 파라미터가 최소 50억 개가 넘고, 용량도 수십 GB 수준입니다. 계속 커지는 추세이고요. 하지만 클라우드가 아닌 엣지 기기에서 AI가 제대로, 빠르게 작동하려면 AI 모델이 반드시 작아야 합니다. 그래서 최근 온디바이스 AI를 위한 ‘모델 경량화' 기술이 활발히 연구되고 있죠. 경량화는 크게 두 가지 방향이 있는데요. 하나는...
2024 급부상 트렌드 – 온디바이스 AI란?
2024년 1월, 삼성전자가 세계 최초로 AI 스마트폰을 내놓으며 화제가 되었습니다. 사실 음성비서를 비롯한 AI 기능을 활용한 지는 꽤 됐지만, 이번에 출시된 AI 폰은 기존에 비해 성능도 훨씬 좋았지만, 특히 "인터넷에 연결되지 않아도 AI를 사용할 수 있다"는 것이 다른 점이었죠. 이를 ‘온디바이스(On-Device) AI’라고 부릅니다. 제조 현장의 여러 문제를 AI로 해결하고 있는 아하랩스 팀 또한 현장에서 온디바이스 AI에 대한 수요가 급증하고 있음을 체감하고...
외부 데이터와 연결되는 검색증강생성(RAG) – 보안 문제는?
빠르게 발전하는 AI 기술과 더불어 RAG는 다양한 AI 시스템의 핵심 요소로 자리 잡을 것입니다. 하지만 반드시 해결해야 할 큰 문제가 있는데요, 바로 보안입니다. https://ahha.ai/2024/07/24/rag/ RAG가 다루는 최신 데이터는 기업 내부의 민감한 정보를 포함할 수 있습니다. 따라서 소스 데이터 암호화뿐만 아니라 벡터 저장소, 임베딩 모델, LLM 등의 시스템 구성 요소가 외부에 노출되지 않도록 방지하는 강력한 보안이 필요합니다. RAG가 특히 퍼블릭...