2023-12-28 | 성공 사례

‘1종 오류’ 찾아내는 딥러닝 모델로 ‘과검’일 확률을 계산한 사례

이상탐지(Anomaly Detection) 딥러닝 모델을 활용해 검사 이미지 전체 영역학습합니다. 실제 생산품의 결함이 아닌, 그 밖의 다른 문제로 인한 과검(1종 오류) 사례일 확률을 추론합니다. 

[이차전지] [딥러닝]

도입 이유

품질 검사 안정화를 위한 과검 재검사 및 이력 관리 툴 부재  

최근 스마트팩토리, 산업 자동화 트렌드를 타고 다양한 제조 현장에 검사 자동화 프로세스가 속속 도입되고 있지만, 수십 년 동안 사람이 직접 하던 일을 자동화하는 것이 쉬운 일은 아닙니다. 검사 소프트웨어나 AI 모델의 신뢰성이 문제가 되는 경우가 많죠. 

일단 불량을 못 잡아내는 사례가 있습니다. 이를 ‘미검’이라고 합니다. 불량품이 대규모 리콜이나 인명피해로 이어지는 경우, 특히 미검에 유의해야 합니다. 그래서 검사 자동화 도입시 미검 0%를 첫번째 목표로 하게 됩니다. 

이때 ‘과검’이 발생됩니다. 소프트웨어나 AI 모델을 너무 민감하게 설정한 나머지, 불량이 아닌 것까지 불량으로 잡아내는 거죠. 이를 통계학적 용어로 1종 오류(참인데 거짓으로 판정)라고 합니다(참고로, 미검은 2종 오류입니다). 과검 사례를 정상으로 라벨링 하여 모델에 지속적인 피드백을 제공함으로써 과검을 줄여나가고 모델을 최적화합니다.  

특히 새로운 제품을 생산하는 경우, 새 공장이나 라인을 짓는 경우 빠른 검사 안정화를 위해 과검 이력에 대한 관리가 꼭 필요한데요. 문제는 이를 사람이 육안으로 해야 한다는 겁니다. 불량으로 판정된 생산품을 전수(혹은 샘플링) 검사해서 진짜 불량품이 맞는지 확인합니다. 그리고는 엑셀에 수기로 입력하죠. 시간과 노력이 많이 들어가는 일입니다. 

이차전지를 생산하는 E사의 요구사항은 바로 이런 페인 포인트를 딥러닝으로 풀어보고자 하는 것이었습니다.  

 

솔루션

검사 영역뿐만 아니라 이미지 전체 영역을 학습해 과검 확률 추론 

아하랩스의 산업용AI 솔루션 LISA에는 1종 오류를 추론하는 딥러닝 모델(이상탐지, Anomaly Detection)이 포함돼 있습니다. 이차전지 생산 기업 E사는 아하랩스의 데이터 통합 솔루션인 DATA CAMP를 활용해 검사기가 생산해낸 촬영 이미지와 양불 판정 데이터를 수집 분석하고 있었는데요. 추가로 과검 이력 관리를 위해 LISA를 연동했습니다.  

LISA의 1종 오류 추론은 다음과 같이 작동합니다. 검사기는 생산품을 촬영한 이미지에서 특정 구역을 봅니다. 이를 ROI(Region of Interest)라고 하죠. 그런데 예컨대 종종 검사기 소프트웨어에 오류가 생겨 ROI가 잘못 설정되면, 실제로는 양품이지만 불량품으로 NG 판정이 나곤 합니다(과검). LISA는 검사기의 ROI 뿐만 아니라 이미지 전체 영역을 학습해 실제 생산품의 결함이 아닌, 그 밖의 다른 문제로 인한 과검 사례일 확률을 추론합니다. LISA가 추론한 결과를 DATA CAMP 대시보드를 통해 지속적으로 모니터링하고, 통계 분석을 수행할 수 있습니다. 

제조 현장 검사기에서 과검 사례가 발생하는 이유에 대한 예시

검사기는 생산품을 촬영한 이미지에서 특정 구역(보라색 원)을 본다. 그런데 종종 검사기 소프트웨어에 오류가 생겨 이 같은 ROI(Region Of Interest)가 잘못 설정되면, 실제로는 양품이지만 불량품으로 NG 판정이 나곤 한다(오른쪽 사진). 이것이 바로 과검(1종 오류)이다. Image Credit : AHHA Labs

 

1종 오류(과검)를 모니터링하는 대시보드 예시 이미지. 왼쪽 파이 차트는 검사기가 NG라고 판정한 전체 수량 대비 LISA가 1종 오류일 확률이 높다고 판단한 수량(빨간색)의 비율을 보여준다. 오른쪽 막대 그래프를 통해 각 검사 종류 별로 상세 수량을 확인할 수 있다. Image Credit : AHHA Labs

1종 오류(과검)를 모니터링하는 대시보드 예시 이미지. 왼쪽 파이 차트는 검사기가 NG라고 판정한 전체 수량 대비 LISA가 1종 오류일 확률이 높다고 판단한 수량(빨간색)의 비율을 보여준다. 오른쪽 막대 그래프를 통해 각 검사 종류 별로 상세 수량을 확인할 수 있다. Image Credit : AHHA Labs

 

도입 기대 효과

과검 재검사 소요시간 down, 정확도 up & 이력 관리까지 

고객사는 지금까지 무작위 샘플링 – 육안 검사를 통해 과검을 판별해 왔는데요. 이제는 DATA CAMP와 연계된 LISA의 1종 오류 판별 딥러닝 모델을 이용해 과검일 확률이 높은 샘플을 1차로 걸러낼 수 있게 되었습니다. 그러면 이 샘플에 대해 가장 우선적으로 과검 여부를 검토합니다. 기존에 비해 재검사에 소요되는 시간을 줄일 수 있고, 과검을 적발하는 정확도는 오히려 높일 수 있게 됩니다. 검사 소프트웨어나 AI 모델에 빠르게 피드백할 수 있기 때문에 더 단기간 내에 검사 프로세스를 최적화할 수 있습니다. 또, 지금까지 생산과 검사가 진행되면서 과검이 얼마나 발생했고 어떤 추세로 변화하고 있는지 등 이력 관리까지 손쉽게 할 수 있게 됩니다. 

스마트팩토리의 데이터 가시성을 높여주는 다양한 적용 사례를 더 알아보세요.

데이터 통합 : DATA CAMP를 활용한 이차전지 기업 A사의 생산이력 관리

DATA CAMP 레시피 기능을 활용한 다품종 소량생산의 품질 관리 사례 

사진을 잘못 찍어서 줄줄이 NG 발생?! 이미지 퀄리티 분석(Image Quality Analysis) 딥러닝 모델로 검사 성공률 99.9% 달성