Challenge

• ‘미검’ 0%를 달성하기 위해 검사 기준을 너무 민감하게 설정한 경우, ‘과검(1종 오류)’이 많아짐
• 과검을 적발하기 위한 무작위 샘플링 육안 검사로 인해 비효율 발생

Approach

• LISA의 1종 오류 추론은 검사기의 검사 영역(ROI)뿐만 아니라 이미지 전체 영역을 학습
• 실제 생산품의 결함이 아닌, 그 밖의 다른 문제로 인한 과검 사례일 확률을 추론
• 추론 결과를 Data CAMP 대시보드를 통해 지속적으로 모니터링하고, 통계 분석을 수행할 수 있음

Full Story

품질 검사 안정화를 위한 과검 재검사 및 이력 관리 툴 부재  

최근 스마트팩토리, 산업 자동화 트렌드를 타고 다양한 제조 현장에 검사 자동화 프로세스가 속속 도입되고 있습니다. 그러나 검사 소프트웨어나 AI 모델의 신뢰성이 문제가 되는 경우가 많습니다.

일단 불량을 못 잡아내는 사례가 있습니다. 이를 ‘미검’이라고 합니다. 불량품이 대규모 리콜이나 인명피해로 이어질 가능성이 있는 경우에 특히 미검에 유의해야 합니다. 그래서 검사 자동화 도입시 미검 0%가 첫번째 목표입니다.

그런데 이때 ‘과검’이 발생할 가능성이 높아집니다. 룰 베이스 검사 소프트웨어나 AI 모델을 너무 민감하게 설정한 나머지, 불량이 아닌 것까지 불량으로 잡아내는 거죠.

이를 통계학적 용어로 1종 오류(참인데 거짓으로 판정)라고 합니다. 참고로, 미검은 2종 오류이고요.

• 과검(False Positive, 거짓 양성): 제품이 실제로는 정상인데 품질검사 결과는 불량이라고 나오는 현상을 뜻합니다. 거짓 경보인 셈이죠. 이를 통계학 용어로 1종 오류(Type I Error)라고 합니다. 
• 미검(False Negative, 거짓 음성): 제품이 실제로는 불량인데 품질검사 결과는 정상이라고 나오는 현상을 뜻합니다. 이를 통계학 용어로 2종 오류라고 합니다. 

특히 새 공장을 짓는 경우나 신설 라인에서 새로운 제품을 생산하는 경우, 검사 프로세스를 빠르게 안정시키려면 과검 이력에 대한 관리가 꼭 필요합니다.

문제는 이를 사람이 육안으로 해야 한다는 겁니다. 불량으로 판정된 생산품을 전수(혹은 샘플링) 검사해서 진짜 불량품이 맞는지 확인합니다. 그리고는 엑셀에 수기로 입력하고요. 시간과 노력이 많이 들어가는 일입니다. 

이차전지를 생산하는 E사의 요구사항은 바로 이런 페인 포인트를 딥러닝으로 풀어보고자 하는 것이었습니다.  

검사 영역뿐만 아니라 이미지 전체 영역을 학습해 과검 확률 추론 

이차전지 생산 기업 E사는 아하랩스의 데이터 통합 솔루션인 Data CAMP를 활용해 검사기가 생산해낸 촬영 이미지와 양불 판정 데이터를 수집 분석하고 있었는데요. 추가로 과검 이력 관리를 위해 LISA를 연동했습니다.  

LISA는 아하랩스의 산업용AI 솔루션이며, 1종 오류를 추론하는 딥러닝 모델(이상탐지, Anomaly Detection)이 포함돼 있습니다. 1종 오류 추론은 다음과 같이 작동합니다.

검사기는 생산품을 촬영한 이미지에서 특정 구역만 검사합니다. 이 특정 구역을 ROI(Region of Interest)라고 하죠. 그런데 만약 검사기 소프트웨어에 오류가 생겨 ROI가 잘못 설정되면, 실제로는 양품이지만 불량품으로 NG 판정이 나곤 합니다(과검).

그런데 LISA의 Anomaly Detector는 검사기의 ROI 뿐만 아니라 이미지 전체 영역을 학습합니다. 이를 통해 실제 생산품의 결함이 아닌, 그 밖의 다른 문제로 인한 과검 사례일 확률을 추론하죠. 

LISA가 추론한 결과를 Data CAMP 대시보드를 통해 지속적으로 모니터링하고, 통계 분석을 수행할 수 있습니다. 

검사기는 생산품을 촬영한 이미지에서 특정 구역(보라색 원)을 본다. 그런데 종종 검사기 소프트웨어에 오류가 생겨 이 같은 ROI(Region Of Interest)가 잘못 설정되면, 실제로는 양품이지만 불량품으로 NG 판정이 나곤 한다(오른쪽 사진). 이것이 바로 과검(1종 오류)이다. Image Credit : AHHA Labs

1종 오류(과검)를 모니터링하는 대시보드 예시 이미지. 왼쪽 파이 차트는 검사기가 NG라고 판정한 전체 수량 대비 LISA가 1종 오류일 확률이 높다고 판단한 수량(빨간색)의 비율을 보여준다. 오른쪽 막대 그래프를 통해 각 검사 종류 별로 상세 수량을 확인할 수 있다. Image Credit : AHHA Labs

Result

• 1종 오류일 확률이 높은 제품을 먼저 검수하여 인건비 및 시간 절약
• 과검 사례를 빠르게 정상으로 2단계 학습시켜 모델 최적화 가능

고객사는 지금까지 무작위 샘플링 및 육안 검사를 통해 과검을 판별해 왔는데요. 이제는 아하랩스의 1종 오류 판별 모델을 이용해 과검일 확률이 높은 샘플을 1차로 걸러낼 수 있습니다. 그러면 이 샘플에 대해 가장 우선적으로 과검 여부를 검토할 수 있습니다.

기존에 비해 재검사에 소요되는 시간을 줄이고, 과검을 적발하는 정확도를 높일 수 있었습니다.

또한, 검사 소프트웨어나 AI 모델에 빠르게 피드백할 수 있기 때문에 더 단기간 내에 검사 프로세스를 최적화할 수 있습니다. 지금까지 생산과 검사가 진행되면서 과검이 얼마나 발생했고 어떤 추세로 변화하고 있는지 등 이력 관리까지 손쉽게 할 수 있습니다.