Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.49 No.3 pp.73-85
DOI : https://doi.org/10.11627/jksie.2026.49.3.073

A Graph Neural Network-Based Framework for Image Defect Region Detection via Patch Relationship Learning

Dong-Gun Jang^*

, Yeon Seo Oh^**

, Aaron Lim^*†

, Jae Hyung Cho^*

^*Department of Industrial Engineering, Dankook University
^**Department of Management Engineering, Dankook University

† Corresponding Author : 5taku123@dankook.ac.kr

Received 24/06/2026 Finally Revised 13/07/2026 Accepted 19/07/2026

Abstract

Defect detection in industrial inspection images is essential for improving product reliability and supporting automated quality inspection systems. This study proposes an image defect region detection framework that integrates an Attention U-Net based segmentation module with a Graph Neural Network based patch relationship learning module. In the proposed framework, Attention U-Net first extracts candidate defect regions, which are then converted into patch level graph representations. Each patch is defined as a node, and edges are constructed based on spatial adjacency and feature similarity. The graph neural network learns relationships among defect related patches and expands the detection area from representative high probability defect nodes to neighboring anomalous regions. Experiments on the MVTec AD dataset show that the proposed framework achieved a accuracy of 0.94, precision of 0.92, recall of 0.94, F1-score of 0.94, and IoU of 0.91. These results demonstrate that combining attention based segmentation with graph based relational learning improves the spatial consistency and localization accuracy of image defect

Key Words : Graph Neural Network , Attention U-Net , Defect Detection , Anomaly Detection , Computer Vision

그래프 신경망 기반 패치 관계 학습을 통한 이미지 결함 영역 탐지 프레임워크

장동건^*, 오연서^**, 임아론^*†, 조재형^*

^*단국대학교 일반대학원 산업공학과
^**단국대학교 경영공학과

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

스마트 제조 환경의 고도화와 함께 제품 품질 안정성은 제조 경쟁력을 결정하는 핵심 요소로 부각되고 있으며, 불량의 조기 탐지는 생산 손실을 줄이고 공정 신뢰성을 확보하기 위한 필수 기술로 인식되고 있다[19, 21]. 특히 Zero Defect Manufacturing은 결함의 사후 검출을 넘어 탐지, 예측, 예방 전략을 통합하는 품질관리 체계로 발전하고 있으며, 이 과정에서 인공지능(Artificial Intelligence, AI)과 컴퓨터 비전(Computer Vision, CV) 기반 자동 검사 기술의 중요성이 더욱 커지고 있다[5, 19]. 기존의 수작업 검사 또는 규칙 기반 검사 방식은 작업자의 숙련도, 피로도, 조명 및 촬영 조건 변화에 따라 성능이 달라질 수 있어, 다양한 결함 형태를 안정적으로 탐지하는 데 한계가 있다[11, 16]. 이에 따라 최근 산업 현장에서는 배터리 셀 표면 결함, SMT 공정의 피듀셜 마크 결함, 웨이퍼 맵 불량 등 다양한 제조 품질 검사 문제에 딥러닝 기반 영상 분석 기법이 적용되고 있다[6, 10, 16].

영상 기반 결함 탐지 연구에서는 합성곱 신경망(Convolution Neural Network, CNN), Transformer 계열 모델이 널리 활용되어 왔다[3, 10, 18]. YOLO(You Only Look Once) 모델은 결함 후보 영역을 빠르게 탐지하는 데 장점이 있으며, U-Net 모델은 픽셀 단위의 세밀한 영역 분할에 강점을 가진다[12, 15, 27]. 특히 Attention U-Net은 Attention Gate를 통해 중요한 특징 영역을 강조함으로써 결함처럼 크기가 작거나 경계가 불명확한 영역의 분할 성능을 향상시킬 수 있다[12, 24]. 그러나 이러한 분할 기반 접근은 주로 픽셀 또는 국소 영역의 특징에 의존하기 때문에, 결함이 주변 영역과 함께 연속적으로 나타나는 경우 결함 영역의 공간적 관계를 충분히 반영하지 못할 수 있다 [12, 13].

산업 이상탐지 분야에서는 정상 패턴의 특징 분포를 학습하고 입력 영상이 정상 분포에서 벗어나는 정도를 평가하는 패치 기반 접근도 활발히 연구되고 있다[13]. 이러한 방법은 결함 데이터가 부족한 제조 환경에서 유용하지만, 고해상도 영상에서는 패치 수와 특징 벡터 수가 증가하여 메모리 사용량과 추론 비용이 커지는 문제가 발생할 수 있다[13]. 또한 패치 단위 특징을 독립적으로 판단할 경우, 결함 주변 영역 간의 구조적 연속성이나 특징 유사성을 충분히 활용하 기 어렵다[7, 22]. 따라서 결함 후보 영역의 국소적 특징뿐만 아니라, 패치 간 공간적 인접성과 특징 관계를 함께 고려하는 관계 기반 분석 방법이 필요하다[7, 29].

그래프 신경망(Graph Neural Network, GNN)은 노드(Node)를 통해 객체 또는 영역을 표현하고, 엣지(Edge)를통해 이들 사이의 관계를 모델링하는 딥러닝(Deep Learning, DL) 구조이다[12]. 최근 CV 분야에서도 이미지를 단순한 격자 또는 패치 시퀀스로만 다루지 않고, 패치를 노드로 정의한 그래프 구조로 변환하여 시각적 관계를 학습하려는 연구가 진행되고 있다[7, 8]. 특히 GAT(Graph Attention Network)는 이웃 노드의 정보를 동일하게 집계 하지 않고, 노드 간 중요도에 따라 가중치를 부여함으로써 복잡한 관계 구조를 더 유연하게 학습할 수 있다[25]. 이러 한 특성은 결함 가능성이 높은 대표 패치를 중심으로 주변 패치와의 관계를 분석하고, 결함 가능 영역을 인접한 이상 영역으로 확장하여 판단하는 데 적합하다[4, 6, 25].

이에 본 연구에서는 Attention U-Net 기반 결함 후보 영역 분할과 그래프 신경망 기반 패치 관계 학습을 결합한 이미지 결함 영역 탐지 프레임워크를 제안한다. 제안 방법은 Attention U-Net을 이용하여 입력 이미지에서 결함 후보 영역을 추출하고, 이를 패치 단위로 변환하여 각 패치를 그래프의 노드로 정의한다. 이후 패치 간 공간적 인접성과 특징 유사성을 기반으로 엣지를 구성하고, 그래프 신경망을 통해 대표 결함 노드 주변의 결함 가능 영역을 확장적으로 탐지한다. 이를 통해 단일 픽셀 또는 국소 영역 중심의 분할 결과에서 발생할 수 있는 오탐과 경계 불안정 문제를 완화하고, 결함 영역의 공간적 연속성을 반영한 정밀한 이상 영역 탐지를 수행하고자 한다. 또한 본 연구를 통해 기존 이미지 탐지 연구에서 CNN 기반 모델이 갖는 국소 특징 중심의 판단 한계, YOLO 기반 모델의 Bounding Box 단위 탐지로 인한 세밀한 경계 표현의 제약, 그리고 단일 U-Net 기반 분할 모델이 패치 간 구조적 관계를 직접적으로 반영하기 어려운 한계를 보완하기 위한 접근 방식이다. 본 연구의 핵심 기여는 Attention U-Net과 GAT를 단순히 결합한 것이 아니라, 픽셀 단위 결함 후보 추출과 패치 간 관계 학습을 순차적으로 분리하여 결함 영역 탐지의 정밀도와 공간적 일관성을 함께 보완한 점에 있다. 기존의 U-Net 기반 분할 모델은 결함의 위치와 경계를 직접 예측하는 데 효과적이지만, 결함 후보와 주변 영역 사이의 관계를 명시적으로 학습하는 데에는 한계가 있다. 반면 GNN 기반 접근은 패치 간 관계를 반영할 수 있으나, 원본 영상 전체를 그래프로 구성할 경우 정상 패치가 다수를 차지하여 결함 관련 정보가 희석될 수 있다. 이에 본 연구에서는 Attention U-Net을 1차 결함 후보 추출 모듈로 사용하여 결함 가능성이 높은 영역을 픽셀 단위로 선별하고, 이후 GAT를 통해 후보 패치와 주변 패치의 공간적 인접성 및 특징 유사성을 학습하도록 구성하였다. 이를 통해 단일 분할 모델의 국소적 예측 한계와 단일 그래프 모델의 결함 후보 선별 한계를 동시에 보완하고자 하였다. 본 연구의 구성은 다음과 같다. 제2장에서는 제조 공정 결함 탐지와 관련된 선행연구를 고찰하고, 기존 방법의 특징과 한계를 검토한다. 제3장에서는 본 연구에서 제안하는 방법론과 전체 프레임워크를 상세히 설명한다. 제4장에서는 실험에 사용된 데이터셋과 실험 환경을 제시하며, 제5장에서는 제안 기법의 실험 과정 및 성능 평가 결과를 분석한다. 마지막으로 제6장에서는 본 연구의 결론을 정리하고 향후 연구 방향을 제시한다.

2. 관련 연구

2.1 딥러닝 기반 이미지 결함 및 이상 영역 탐지 연구

4차 산업혁명 시대의 제조 환경은 데이터 기반 의사결정을 중심으로 빠르게 고도화되고 있으며, 이에 따라 제품 품질 안정성과 생산 효율을 동시에 확보하기 위한 자동화 기술의 중요성이 더욱 커지고 있다[19, 21]. 특히 제조 공정에서 발생하는 미세 결함은 제품 신뢰성 저하, 생산 비용 증가, 안전 문제로 이어질 수 있기 때문에, 결함을 조기에 탐지하고 정밀하게 분석하는 기술은 스마트 제조 현장을 위한 핵심 요소로 인식되고 있다[10, 13, 16]. 그러나 기존의 육안 검사와 규칙 기반 영상 처리 방식은 작업자의 숙련도, 피로도, 조명 변화 등에 따라 검사 결과가 달라질 수 있으며, 복잡한 표면 패턴이나 미세 결함을 안정적으로 탐지하는 데 한계가 있다[11, 13, 16]. 이러한 한계를 보완하기 위해 CNN, YOLO, U-Net, Transformer 등 다양한 딥러닝 모델을 활용한 이미지 결함 탐지 연구가 활발히 수행되고 있다[3, 16].

CNN 기반 접근은 입력 이미지로부터 계층적 특징을 추출하여 정상과 이상을 분류하거나 특정 결함 유형을 판별하는 데 활용되어 왔다. 적외선 카메라 이상 탐지 연구에서는 AlexNet, VGGNet, ResNet을 비교하여 영상의 정상과 비정상 여부를 판단하였으며, 히스토그램 전처리와 VGGNet을결합한 경우 Accuracy, Precision, Recall, F1-score가 모두 0.97로 나타나 딥러닝 기반 자동 모니터링의 가능성을 보였다[11]. 또한 원통형 배터리 셀 표면 결함 분류 연구에서는 Rule-Based 알고리즘이 산업 환경의 복합적 노이즈와 다양 한 결함 패턴에 취약하다는 점을 지적하고, ConvNeXt-Tiny와 Attention 모듈을 결합하여 표면 결함 분류 성능을 향상시 켰다[16]. 이와 같은 연구들은 딥러닝 모델이 기존 수작업 및 규칙 기반 검사 방식보다 다양한 결함 패턴을 자동으로 학습할 수 있음을 보여준다[11, 16].

객체 탐지 기반 연구에서는 YOLO 계열 모델이 실시간성과 위치 추정 성능을 바탕으로 산업 및 손상 탐지 분야에 널리 활용되고 있다. 고속 SMT 공정의 피듀셜 마크 결함 탐지 연구에서는 YOLOv8n을 적용하여 데이터 불균형과 미세 결함 문제를 다루었으며, Mosaic 증강을 통해 학습 데이터 분포를 보정하고 mAP[IoU=0.5:0.95] 0.941과 Precision 0.968의 성능을 달성하였다[10]. 또한 차량 손상 분류 연구에서는 YOLOv8을 이용해 손상 후보 영역을 먼저 탐지한 뒤, ResNet50, ConvNeXt V2, Swin Transformer V2의 시각 임베딩을 결합하여 손상 유형을 분류하였다[27]. 이러한 연구들은 객체 탐지 모델이 결함 후보 영역을 빠르 게 추출하는 데 효과적이며, 후속 특징 추출 또는 분류 모델과 결합될 경우 탐지 성능을 보완할 수 있음을 시사한다.

한편, 결함의 위치와 형태를 보다 세밀하게 파악하기 위해 U-Net 계열의 분할 모델을 활용한 연구도 수행되고 있다. U-Net 기반 소나무 고사목 탐지 연구에서는 정사영상에서 고사목 영역을 분할하고, 참값 데이터 구축 및 필터 링 과정을 통해 Precision과 F1-score를 개선하였다[14]. 또 한 Attention U-Net 기반 연구에서는 Attention Mechanism을 통해 입력 이미지 내 중요한 영역에 더 높은 가중치를 부여함으로써 기존 U-Net보다 분할 정확도를 향상시킬 수 있음을 보였다[12, 24]. 특히 균열이나 결함처럼 경계가 불명확하고 작은 영역을 대상으로 하는 경우, Attention 구조는 관련 특징을 강조하여 픽셀 단위 탐지 성능을 높이는 데 유용하다.

패치 기반 이미지 분석 역시 결함 및 이상 영역 탐지에 서 중요한 접근으로 활용되고 있다. 다중분광 정사영상 기반 재선충 피해목 탐색 연구에서는 영상을 일정 크기의 패치로 분할하고 ResNet18 기반 분류기를 적용하여 각 패치의 피해 가능성을 heatmap 형태로 표현하였다[28]. 제조 공정 불량품 탐지 연구에서는 정상 영상의 패치 특징 분포를 모델링하여 입력 영상이 정상 패턴에서 벗어나는 정도를 평가하는 방식이 MVTec AD와 같은 산업 이상탐지 데이터셋에서 효과적으로 활용될 수 있음을 설명하였다. 그 러나 패치 기반 접근은 고해상도 영상에서 패치 수가 증가 할수록 메모리 사용량과 연산량이 커질 수 있으며, 결함 픽셀이 영상 전체에서 차지하는 비율이 작을 경우 특징이 희석될 가능성이 존재한다[13]. MVTec AD를 대상으로 개발된 대표적인 산업 이상탐지 방법으로 PatchCore와 EfficientAD가 있다[1, 23]. PatchCore는 정상 영상에서 추출한 패치 특징으로 메모리 뱅크를 구성하고, 테스트 패치와 최근접 정상 특징 간의 거리로 이상 영역을 탐지한다. EfficientAD는 경량 Student-Teacher 구조와 Autoencoder를결합하여 국소적 구조 이상과 전역적 이상을 탐지하며, 모델 규모에 따라 EfficientAD-S와 EfficientAD-M으로 구분된다. 이들 방법은 정상 영상만을 학습하는 One-Class 방식인 반면, 본 연구는 결함 영상과 Ground Truth Mask를활용하는 지도학습 방식이라는 차이가 있다.

기존 딥러닝 기반 이미지 탐지 연구는 CNN 기반 분류, YOLO 기반 객체 탐지, U-Net 기반 영역 분할, 패치 기반 이상탐지 등 다양한 방향으로 발전해 왔다. CNN 기반 방법은 이미지의 계층적 특징을 효과적으로 추출할 수 있으나, 합성곱 커널을 중심으로 국소 영역의 특징을 학습하기 때문에 결함 영역과 주변 영역 사이의 구조적 관계를 명시 적으로 반영하는 데 한계가 있다[11, 16]. YOLO 기반 객체 탐지 방법은 결함 후보의 위치를 빠르게 추정하는 데 유리하지만, 주로 Bounding Box 단위의 위치 예측을 수행 하므로 결함의 불규칙한 경계나 미세한 영역 형태를 정밀하게 표현하는 데 제약이 있다[27]. U-Net 기반 분할 방법은 픽셀 단위의 결함 영역을 예측하는 데 강점을 가지지만, 분할 결과가 주로 인접 픽셀의 특징과 디코더 복원 과정에 의존하기 때문에 패치 간 공간적 관계나 결함 영역의 구조적 연속성을 직접적으로 학습하기 어렵다[12, 15]. 또 한 패치 기반 이상탐지 방법은 정상 패턴과의 차이를 효과 적으로 평가할 수 있으나, 각 패치 특징을 독립적으로 판단할 경우 결함이 주변 영역으로 이어지는 관계성을 충분 히 반영하지 못하고, 고해상도 영상에서는 패치 수 증가로 인한 연산 및 메모리 부담이 발생할 수 있다. 따라서 결함 후보 영역을 먼저 분할한 뒤, 패치 간 공간적, 인접성과 특징 유사성을 함께 고려하여 이상 영역을 판단하는 관계 기반 접근이 필요하다.

기존 산업 이상탐지 연구는 주로 CNN 또는 U-Net 기반의 픽셀 단위 분할, 정상 패치 특징 분포를 활용한 패치 기반 이상탐지, 또는 GNN을 활용한 이미지 구조 관계 학습으로 구분된다. 패치 기반 방법은 정상 특징과의 거리 또는 분포 차이를 이용해 이상 영역을 탐지하는 데 강점을 가지며, PatchCore와 같이 정상 패치 특징 메모리 뱅크를 활용하는 방법은 산업 이상탐지에서 높은 성능을 보였다. 또한 EfficientAD와 같이 경량 Student-Teacher 구조를 활용한 방법은 이상탐지 성능과 추론 효율을 동시에 고려하였다. 그러나 이러한 방법들은 주로 정상 특징과의 차이나 패치 단위 이상 점수에 기반하므로, 결함 마스크를 활용하 여 결함 후보 영역을 먼저 분할하고 이후 후보 패치 간관계를 학습하는 구조와는 차이가 있다. 본 연구는 Attention U-Net을 통해 결함 후보 영역을 픽셀 단위로 추출하고, GAT를 통해 후보 패치와 주변 패치 간의 관계를 보완함으로써 픽셀 기반 분할과 그래프 기반 관계 학습을 순차적으로 연결했다는 점에서 기존 연구와 차별성을 가진다.

2.2 GNN 기반 이미지 관계 학습 연구

GNN은 데이터를 노드(Node)와 엣지(Edge)로 구성된 그래프(Graph) 구조로 표현하고, 노드 간 메시지 전달을 통해 관계 정보를 학습하는 딥러닝 모델이다[27]. 기존 CNN 기반 모델이 주로 정규 격자 형태의 이미지 데이터에서 국소 특징을 추출하는 데 강점을 가진다면, GNN은비정형 구조에서 노드 간 연결 관계와 위상 정보를 함께 반영할 수 있다는 장점을 가진다[20, 29]. 이러한 특성으로 인해 GNN은 소셜 네트워크, 분자 구조, 교통 네트워크뿐만 아니라 이미지와 비디오 이해 분야에서도 점차 활용 범위가 확대되고 있다.

이미지 분석 분야에서 GNN을 활용한 초기 연구들은 이미지 내 영역 또는 객체 간 관계를 그래프로 표현하는 방식으로 진행되었다. Structural Image Classification 연구에 서는 이미지를 여러 영역으로 나누고, 영역 간 인접성이나 기하학적 관계를 그래프로 구성하여 이미지의 구조적 정보를 보존하고자 하였다[21]. Superpixel 기반 이미지 분류 연구에서는 입력 이미지를 SLIC 기반 Superpixel로 분할 한 뒤, 각 Superpixel을 노드로 정의하고 인접 영역을 엣지로 연결한 Region Adjacency Graph를 구성하여 GNN 기반 분류를 수행하였다[17]. 이러한 연구들은 이미지가 단순한 픽셀 집합이 아니라, 영역 간 관계를 포함하는 구조적 데이터로 해석될 수 있음을 보여준다[17, 22].

객체 관계 중심의 이미지 이해 연구에서도 그래프 구조가 활용되었다. Graph R-CNN은 이미지 내 객체를 노드로, 객체 간 관계를 엣지로 정의하여 Scene Graph를 생성하고, Attentional Graph Convolution을 통해 객체와 관계 정보를 통합하였다[26]. 이는 이미지 내 개별 객체 인식만으로는 장면의 의미를 충분히 설명하기 어렵기 때문에, 객체 간관계를 함께 모델링을 해야 한다는 점을 보여준다. 이러한 접근은 결함 탐지 문제에서도 결함 후보 영역을 독립적으로 판단하기보다, 주변 영역과의 공간적, 의미적 관계를 함께 고려해야 한다는 필요성과 연결된다.

최근에는 이미지를 패치 단위 그래프로 표현하는 연구가 등장하였다. Vision GNN은 이미지를 일정 크기의 패치로 분할하고 각 패치를 노드로 정의한 뒤, 특징적으로 가까운 이웃 패치들을 연결하여 그래프를 구성하였다[7]. 이 방법은 CNN이 이미지를 격자 구조로, ViT(Vision Transformer)가 이미지를 패치 시퀀스로 처리하는 것과 달리, 이미지를 보다 유연한 그래프 구조로 해석할 수 있음을 제시하였다. 또한 Vision GNN은 단순한 쌍별 관계만을 표현하는 일반 그래프의 한계를 보완하기 위해 Hypergraph 구조를 도입하 여 패치 간 고차 관계를 모델링하고자 하였다[8]. 이는 이미 지 내 패치들이 단순히 인접한 두 영역의 관계뿐만 아니라, 여러 패치가 함께 형성하는 복합적인 구조 관계를 가질 수 있음을 시사한다.

GNN 중에서도 GAT는 이웃 노드의 정보를 동일하게 집계하지 않고, 노드 간 중요도에 따라 서로 다른 Attention Weight를 부여한다는 점에서 이미지 결함 영역 탐지에 적합하다[13]. 결함 영역은 대체로 특정 위치에서 국소적으로 시작되지만, 실제로는 주변 영역과 연속적인 패턴을 형성하거나 유사한 특징을 가진 인접 영역으로 확장되어 나타나는 경우가 많다. 따라서 결함 가능성이 높은 대표 노드를 기준으로 주변 패치와의 관계를 학습하고, 결함 가능성이 높은 인접 영역을 함께 판단하는 구조는 결함 영역의 공간적 연속성을 반영하는 데 유리하다[4, 25]. 또 한 반도체 제조공정 이상탐지 연구에서는 센서를 노드로, 센서 간 상호관계를 엣지로 정의하여 GNN 기반 이상탐지와 근본 원인 시각화를 수행하였으며, 이는 제조 데이터에 서 관계 구조를 명시적으로 반영하는 접근이 품질 이상 분석에 효과적일 수 있음을 보여준다[6].

그러나 기존의 GNN 기반 이미지 연구들은 주로 이미지 분류, 객체 관계 인식, 장면 그래프 생성 또는 센서 데이터 기반 공정 이상탐지에 초점을 두었으며, 결함 후보 영역을 먼저 분할한 뒤 이를 패치 그래프로 변환하여 결함 영역을 정밀하게 탐지하는 연구는 상대적으로 제한적이다[6, 17, 22]. 또한 기존 패치 기반 이상탐지 연구는 정상 패턴과의 특징 차이를 평가하는 데 효과적이지만, 각 패치 간 공간 적 인접성과 특징 유사성을 결합하여 결함 영역의 확장적 판단을 수행하는 데에는 한계가 있다[13]. 이에 본 연구에 서는 Attention U-Net을 통해 결함 후보 영역을 먼저 추출하고, 이를 패치 단위 그래프로 변환한 뒤, GAT 기반 관계 학습을 통해 대표 결함 노드 주변의 이상 가능 영역을 확장 적으로 탐지하는 프레임워크를 제안한다. 이를 통해 기존 분할 모델의 픽셀 단위 예측 결과에서 발생할 수 있는 오탐과 경계 불안정 문제를 완화하고, 결함 영역의 구조적 연속 성을 반영한 이미지 결함 영역 탐지를 수행하고자 한다.

3. 방법론

3.1 Attention U-Net 기반 결함 영역 추출

본 연구에서는 입력 이미지로부터 초기 결함 후보 영역을 추출하기 위해 Attention U-Net 기반 분할 모델을 사용하였다. 아래 <Figure 1>과 같이 Attention U-Net은 기존 U-Net의 Encoder-Decoder 구조와 Skip Connection을 기반으로 하되, Encoder에서 전달되는 특징맵에 Attention Gate를 적용하여 결함 탐지에 중요한 영역의 특징을 선택적으로 강조하는 구조이다[12, 24]. 이를 통해 배경이나 정상 영역에서 발생하는 불필요한 특징 전달을 줄이고, 결함 영역과 같이 크기가 작거나 경계가 불명확한 영역에 보다 집중할 수 있다.

3.2 Graph Attention Network

GAT는 그래프 구조에서 중심 노드와 이웃 노드 간의 관계 중요도를 Attention Weight로 계산하고, 이를 기반으로 이웃 노드의 정보를 선택적으로 반영하는 그래프 신경 망 모델이다. 각 노드는 주변 노드로부터 전달되는 정보를 동일하게 수용하지 않고, 학습된 Attention 계수에 따라 더 중요한 노드의 정보를 크게 반영한다[25]. 본 연구에서는 추출된 결함 후보 영역을 패치 단위 그래프로 변환하고, 각 패치를 노드로 정의하여 GAT를 적용하였다. 이를 통해 결함 가능성이 높은 대표 패치와 주변 패치 사이의 공간 적, 특징적 관계를 학습하고, 결함 영역의 구조적 연속성과 주변 확장 가능성을 판단하는 데 활용하였다. 아래 <Figure 2>는 GAT의 구조를 나타낸다.

3.3 본 연구의 전체 프레임워크

본 연구에서 제안하는 프레임워크는 Attention U-Net 기반 결함 후보 영역 추출 단계와 GAT 기반 패치 관계 학습 단계를 순차적으로 결합한 구조로 구성된다. 먼저 입력이미지는 Attention U-Net을 통해 픽셀 단위의 결함 후보 확률 맵으로 변환된다. 이 단계에서는 결함이 존재할 가능성이 높은 영역을 1차적으로 탐색하며, 이후 그래프 기반 관계 학습을 위한 초기 입력 정보를 생성한다.

다음으로 생성된 결함 후보 확률 맵을 일정 크기의 패치 단위로 분할하고, 각 패치를 그래프의 노드로 정의한다. 각 노드는 해당 패치 영역의 결함 후보 정보를 포함하며, 노드 간 엣지는 패치의 공간적 인접성과 특징 유사성을 기준으로 구성한다. 이를 통해 단순히 픽셀 단위의 독립적인 예측 결과를 사용하는 것이 아니라, 이미지 내 패치들이 가지는 위치적 관계와 특징적 연관성을 함께 반영 할 수 있도록 하였다. 이러한 패치 그래프 표현은 이미지를 격자 또는 시퀀스가 아닌 노드와 엣지의 관계 구조로 해석하는 방식과 연결된다.

구성된 패치 그래프는 GAT 모듈의 입력으로 사용되며, GAT는 패치 노드 간 관계를 학습하여 각 노드의 결함 가능성을 재평가한다. 이 과정에서 결함 가능성이 높은 대표 노드는 주변 패치와의 관계를 통해 결함 정보를 전달하고, 인접 노드는 대표 노드와의 공간적·특징적 관련성에 따라 결함 여부가 보완적으로 판단된다. 따라서 제안 프레임워 크는 결함 후보 영역을 단순히 확대하는 방식이 아니라, 패치 간 관계를 기반으로 실제 결함일 가능성이 높은 주변 영역까지 탐지 범위를 확장한다.

학습 단계에서는 Ground Truth Mask를 패치 단위로 변환하여 각 노드의 정답 라벨을 생성한다. 패치 내부에 결함 영역이 포함된 경우 해당 노드를 결함 노드로, 그렇지 않은 경우 정상 노드로 정의한다. 이후 GAT는 각 노드에 대한 결함 확률을 예측하며, 예측값과 패치 단위 정답 라벨 간의 차이를 기반으로 학습된다. 최종적으로 GAT에서 출력된 노드별 결함 확률은 원본 이미지의 패치 위치에 다시 매핑되어 최종 결함 영역 맵으로 복원된다.

산업 현장에서는 단일 모델의 단순한 배포 구조가 유리 할 수 있으나, 검사 환경과 제품 조건이 지속적으로 변하는 경우에는 모델의 오류 원인을 구분하고 필요한 부분만 수정할 수 있는 모듈화된 구조가 더욱 효과적일 수 있다. 제안 프레임워크는 결함 후보 추출 단계와 관계 기반 정제 단계를 분리함으로써, 최종 탐지 오류가 1차 분할 과정에 서 발생했는지 또는 패치 관계 정제 과정에서 발생했는지를 단계별로 확인할 수 있다. 이는 단일 모델의 최종 출력만으로는 확인하기 어려운 오탐 및 미탐의 원인을 추적하는 데 유리하다.

또한 카메라, 조명 및 제품 외형과 같이 영상 특성이 변경되는 경우에는 Attention U-Net을 중심으로 재학습할 수 있으며, 결함의 연결 형태나 패치 간 관계가 변경되는 경우에는 GAT 모듈만 별도로 조정할 수 있다. 따라서 전체 모델을 반복적으로 재학습하는 방식보다 변경 원인에 대응하는 모듈만 선택적으로 개선할 수 있어 유지보수 범위와 재검증 부담을 줄일 수 있다. 각 단계의 출력도 독립적으로 저장할 수 있으므로 공정 품질관리 과정에서 검사 결과의 근거를 확인하고 모델 성능 저하 원인을 분석하기 용이하다.

이와 같은 2단계 구조는 단일 모델보다 배포 구성이 다소 복잡하다는 한계가 있으나, 제한적인 추가 연산비용으로 탐지 결과의 신뢰성을 높이고, 오류 추적성, 모델별 재학습 및 단계별 성능 검증을 가능하게 한다. 따라서 본 연구에서는 단순한 구조적 결합이 아니라 산업 검사 시스템의 유지보수성과 결과 신뢰성을 확보하기 위한 목적으로 2단계 파이프라인을 적용하였다.

<Figure 3>과 같이 제안하는 프레임워크는 Attention U-Net의 픽셀 단위 분할 결과와 GAT의 패치 관계 학습을 결합함으로써, 국소 영역 중심의 분할 결과에서 발생할 수 있는 오탐과 경계 불안정 문제를 완화하고자 한다. 특히 결함 가능성이 높은 대표 패치를 기준으로 주변 패치와의 관계를 학습함으로써, 결함 영역의 구조적 연속성과 공간 적 확장성을 반영한 이미지 결함 영역 탐지를 수행하는 것을 목표로 한다.

그래프 생성 과정은 다음과 같다. 먼저 Attention U-Net의 출력 확률 맵을 16×16 크기의 패치 단위로 분할하고, 각 패치를 하나의 노드로 정의하였다. 입력 영상의 크기가 256×256이므로 하나의 영상은 총 256개의 노드로 구성된다. 각 노드의 특징은 해당 패치 내 결함 확률의 평균 값과 패치의 공간 위치 정보를 기반으로 구성하였다. 본 연구에서 대표 결함 노드는 Attention U-Net의 출력 확률 맵을 기반으로 선정하였다. Attention U-Net의 최종 출력에 Sigmoid 함수를 적용하여 0과 1 사이의 픽셀 단위 결함 확률 맵 $p (x, y)$ 를 생성한 뒤, 이를 16×16 크기의 패치 단위로 분할하였다. 각 패치 노드 $v_{i}$ 의 결함 점수 $s_{i}$ 는 해당 패치 $P_{i}$ 에 포함된 픽셀들의 결함 확률 평균으로 산출하였다.

s_{i} = \frac{1}{| P_{i} |} \sum_{(x, y) \in P_{i}} p (x, y)

(1)

이는 식 (1)과 같이 정의하였으며, 여기서 $| P_{i} |$ 는 패치 내 픽셀 수를 의미한다. 본 연구에서는 결함 후보 패치 중 $s_{i}$ 가 가장 큰 노드를 대표 결함 노드로 선정하였다. 대표 결함 노드는 결함 가능성이 가장 높은 패치를 의미하며, 주변 패치와의 공간적 인접성 및 특징 유사성을 시각화하고 설명하기 위한 기준 노드로 활용하였다. 이렇게 구성된 그래프를 GAT에 입력하여 각 패치의 결함 확률을 재평가 하고, 최종 노드 예측 결과를 원본 해상도로 복원하여 GNN Mask를 생성하였다.

4. 데이터셋 및 실험 환경

본 연구에 사용된 데이터는 MVTec AD에서 제공하는 Bottle 이미지 데이터셋이다[2]. MVTec AD는 산업 이상 탐지 연구에서 널리 활용되는 공개 데이터셋으로, 정상이미지와 결함 이미지 및 결함 영역에 대한 Ground Truth Mask를 함께 제공한다. 본 연구에서는 <Figure 4>와 같이 Bottle 데이터 중 정상(Good), 큰 파손(Broken Large), 작은 파손(Broken Small) 3개의 클래스를 사용하였다.

실험 데이터는 정상 이미지와 결함 이미지를 학습, 테스 트 데이터로 분할하여 구성하였다. 실험에 사용된 데이터 셋 분할 결과는 <Table 1>과 같다.

이에 더해 데이터 개수가 적어도 모델 성능이 우수함을 입증하기 위해 추가로 <Table 2>와 같이 데이터셋을 분할하여 실험에 사용하였다.

제안 프레임워크의 상대적 성능을 검증하기 위해 U-Net, Attention U-Net, GAT, ViT, CNN-GNN, ViT-GNN, PatchCore-1%, EfficientAD-S 및 EfficientAD-M을 비교 모델로 선정하였다. 비교 모델은 모두 본 연구와 동일한 MVTec AD Bottle 데이터셋의 데이터 유형(a)와(b)를 사용하여 학습 및 평가하였으며, 입력 영상 크기는 256×256으로 통일하였다. 또한 모든 모델의 성능은 동일한 테스트 데이터와 원본 픽셀 단위 Ground Truth Mask를 기준으로 Accuracy, Precision, Recall, F1-score 및 IoU를 산출하여 비교하였다.

비교 모델의 구조는 다음과 같이 설정하였다. U-Net은기본적인 Encoder-Decoder 기반 분할 모델로 구성하여 입력 영상으로부터 픽셀 단위 결함 마스크를 직접 예측하도 록하였다. Attention U-Net은 U-Net의 Skip Connection에 Attention Gate를 적용하여 결함 후보 영역에 대한 픽셀 단위 확률 맵을 생성하도록 구성하였다. GAT는 16×16 패치 단위로 구성된 그래프를 입력으로 하여 각 패치 노드의 결함 여부를 예측하는 그래프 기반 모델로 설정하였다. ViT는 입력 영상을 16×16 패치 토큰으로 분할한 뒤 Transformer encoder를 통해 패치 특징을 학습하고, 이를 결함 영역 예측에 활용하도록 구성하였다. CNN-GNN은 CNN을 통해 추출한 패치 특징을 그래프의 노드 특징으로 사용하고, 패치 간 인접 관계를 기반으로 GNN을 적용한 모델이다. ViT-GNN은 ViT에서 추출한 패치 임베딩을 노드 특징으로 사용하여 그래프 관계 학습을 수행하는 모델로 구성하였다. PatchCore-1%, EfficientAD-S 및 EfficientAD-M은 산업 이상탐지 분야에서 널리 사용되는 대표 비교 모델로, 동일한 Bottle 데이터 유형과 동일한 평가 기준을 적용하여 성능을 비교하였다.

5. 실 험

5.1 Attention U-Net 기반 결함 후보 영역 추출

<Figure 5>는 Attention U-Net을 이용한 결함 후보 영역 추출 결과를 나타낸다. Original은 입력 이미지이며, Ground Truth는 실제 결함 마스크를 원본 이미지 위에 시각화한 결과이다. Heatmap은 Attention U-Net이 예측한 픽셀 단위 결함 확률 맵을 의미하며, Mask는 예측된 결함 영역을 원본 이미지에 중첩한 결과이다.

실험 결과, Attention U-Net은 병 입구 우측에 위치한 큰 파손 영역을 전반적으로 탐지하였으며, 실제 결함 영역과 유사한 위치에 결함 후보를 형성하였다. 다만 일부 경계 영역에서는 실제 마스크와 차이가 발생할 수 있으며, 이는 픽셀 단위 분할 모델이 결함 주변의 공간적 연속성이나 패치 간 관계를 충분히 반영하지 못하기 때문이다. 따라서 본 연구에서는 Attention U-Net의 출력 결과를 최종 탐지 결과로 사용하지 않고, 후속 GAT 기반 패치 관계 학습 단계의 입력으로 활용하여 결함 영역을 보완적으로 판단하였다.

5.2 GAT 기반 패치 관계 실험

결함 후보 영역 추출이 완료되고, GAT 기반 패치 관계 학습을 수행하였다. 먼저 출력 결과 이미지를 256×256 크기로 정규화한 후, 이를 16×16 패치 격자로 분할하였다. 이에 따라 전체 이미지는 총 256개의 패치로 구성되며, 각 패치는 그래프의 하나의 노드로 정의된다. 각 노드는 해당 패치 영역의 결함 후보 확률, 위치 정보 및 패치 단위 특징 정보를 포함하도록 구성하였다.

이후 결함 후보가 포함된 패치를 중심으로 그래프를 구성하였다. 노드 간 엣지는 공간적으로 인접한 패치 간 연결과 특징 유사도가 높은 패치 간 연결을 함께 반영하여 설정하였다. 이를 통해 단순한 픽셀 단위 예측 결과를 사용하는 것이 아니라, 결함 후보 영역과 주변 패치 간의 위치적 연속성과 시각적 유사성을 동시에 고려할 수 있도록 하였다. 패치 내부에 결함 영역이 일정 비율 이상 포함된 경우 해당 패치를 결함 노드로 정의하고, 그렇지 않은 경우 정상 노드로 설정하였다.

GAT의 입력은 후보 패치 노드와 노드 간 엣지로 구성된 그래프 $G = (V, E)$ 이다. 각 노드 특징은 해당 패치의 결함 후보 확률, 정규화된 위치 정보 및 Attention U-Net Encoder에서 추출된 패치 단위 특징 정보를 결합하여 구성하였다. 노드 간 엣지는 두 가지 기준으로 설정하였다. 첫째, 결함 영역의 공간적 연속성을 반영하기 위해 상하좌우 및 대각선 방향으로 인접한 패치 간 엣지를 연결하였다. 둘째, 공간적으로 떨어져 있더라도 유사한 시각적 특징을 가지는 패치 간 관계를 반영하기 위해 패치 특징 간 코사인 유사도가 높은 상위 노드들을 추가로 연결하였다. 이를 통해 GAT는 결함 후보 영역과 주변 패치 간의 위치적 연속성과 특징 유사성을 함께 학습할 수 있도록 구성하였다.

GAT는 노드 특징 행렬 $X$ 와 엣지 정보 $E$ 를 입력으로 받아 각 후보 패치의 노드 결함 Logit $z_{i}$ 를 출력한다. 이후 Sigmoid 함수를 적용하여 노드별 결함 확률 ${\hat{y}}_{i} = σ (z_{i})$ 를 산출하고, ${\hat{y}}_{i} \geq 0.5$ 인 노드는 결함 패치로 분류하였다. GAT 학습에는 노드별 예측 Logit과 패치 단위 정답 라벨 사이의 Binary Cross Entropy 손실을 사용하였으며, 손실 함수는 아래 식 (2)와 같이 정의하였다.

L_{GAT} = - \frac{1}{N} \sum_{i = 1}^{N} [y_{i} \log σ (z_{i}) + (1 - y_{i}) \log (1 - σ (z_{i}))]

(2)

여기서 $N$ 은 그래프 내 후보 패치 노드의 수, $y_{i}$ 는 패치 단위 정답 라벨, $σ (z_{i})$ 는 GAT가 예측한 노드별 결함 확률을 의미한다. 최종적으로 GAT에서 출력된 노드별 결함 확률은 원본 이미지의 패치 위치에 다시 매핑되며, 각 노드의 예측 결과를 해당 16×16 패치 영역으로 복원하여 GNN Mask를 생성하였다. <Figure 6>은 Attention U-Net의 초기 분할 결과와 GAT 기반 패치 관계 학습을 거친 최종 결과를 나타낸다.

<Figure 6>에서 GNN Mask가 블록 형태로 표현되는 것은 최종 결과가 픽셀 단위가 아니라 패치 단위 예측 결과를 기반으로 복원되었기 때문이다. 이러한 과정은 결함 후보 영역을 단순히 확대하는 방식이 아니라, 패치 간 관계를 학습하여 결함 가능성이 높은 주변 영역까지 탐지하도 록한다. 본 실험에 사용된 하이퍼파라미터는 <Table 3>과같다.

5.3 실험 결과 및 분석

본 연구에서 제안한 결함 영역 탐지 프레임워크의 성능을 정량적으로 평가하기 위해 Accuracy, Precision, Recall, F1-score, IoU(Intersection over Union) 및 Inference Time per Image를 사용하였다. Precision은 모델이 결함으로 예측한 영역 중 실제 결함 영역이 차지하는 비율을 의미하며, Recall은 실제 결함 영역 중 모델이 올바르게 탐지한 비율을 나타낸다. F1-score는 Precision과 Recall의 조화평 균으로 두 지표 간의 균형을 평가하는 데 사용되며, IoU는예측된 결함 영역과 Ground Truth Mask 간의 중첩 정도를 나타내는 지표로 결함 영역의 위치 정합성을 평가하는 데 활용하였다.

실험 결과, 제안 프레임워크의 성능은 <Table 4>와 <Table 5>에 정리하였다. 또한 비교 대상 모델들의 성능과 <Table 2>의 데이터셋 분할 유형에 따른 결과를 함께 제시하여, 제안 프레임워크의 상대적 우수성과 데이터 구성 변화에 대한 안정성을 확인할 수 있도록 하였다. 그 결과, 제안 프레임워크는 비교 모델들보다 전반적으로 높은 성능을 보였으며, 학습 데이터 수를 감소시킨 경우에도 성능 저하가 크지 않은 것으로 나타났다. 이는 Attention U-Net이 먼저 결함 후보 영역을 효과적으로 추출하고, GAT가전체 이미지가 아닌 후보 패치 간의 관계를 중심으로 학습을 수행함으로써 제한된 데이터 환경에서도 결함 영역의 위치 정보와 공간적 연속성을 안정적으로 반영할 수 있었 기 때문으로 해석된다.

한편 <Table 4>와 <Table 5>의 Accuracy, Precision, Recall, F1-score 및 IoU는 패치 단위 라벨을 기준으로 계산한 것이 아니라, MVTec AD에서 제공하는 원본 픽셀 단위 Ground Truth Mask를 기준으로 산출하였다. GAT 학습을 위해 Ground Truth Mask를 16×16 패치 라벨로 변환하였으나, 최종 평가는 GAT의 노드별 예측 결과를 256×256 해상도로 복원한 뒤 원본 Ground Truth Mask와 픽셀별로 비교하여 수행하였다. 따라서 패치 단위 복원으로 인해 실제 결함 영역보다 넓게 탐지된 부분은 False Positive로 포함되며, 이는 Precision과 IoU 지표에 반영된다.

그럼에도 불구하고 제안 프레임워크가 높은 F1-score와 IoU를 보인 것은 1단계 Attention U-Net에서 픽셀 단위 결함 후보 영역이 비교적 정확하게 형성되었고, 2단계 GAT가 이를 기반으로 결함 패치와 주변 패치 간의 관계를 보완했기 때문으로 판단된다. 즉, GAT Mask의 일부 블록화는 시각적으로 결함 영역을 넓게 표현할 수 있으나, 정량 평가에서는 해당 확장 영역이 오탐으로 반영되므로 제시된 성능지표가 패치 단위 평가에 의해 과대평가된 결과는 아니다. 특히 제안 방법은 개별 픽셀 또는 단일 패치의 특징에만 의존하지 않고, 결함 가능성이 높은 대표 패치와 주변 패치 간의 관계를 함께 고려하므로 학습 데이터 수가 감소하더라도 결함 영역 탐지 성능을 비교적 안정적으로 유지할 수 있었다.

다만 GAT 기반 최종 마스크는 패치 단위 예측 결과를 복원하는 과정에서 일부 정상 영역까지 블록 형태로 함께 탐지되는 한계가 있다. 향후 연구에서는 GAT의 패치 단위 신뢰도 맵과 Attention U-Net의 픽셀 단위 확률 맵을 결합하여 패치 내부의 최종 결함 경계를 재정의하는 후처리 과정을 적용함으로써, 패치 기반 관계 학습의 장점을 유지 하면서도 경계 오탐을 줄일 필요가 있다. 구체적으로 GAT가 결함으로 판단한 패치 내부에서도 Attention U-Net의픽셀 확률이 낮은 영역은 최종 마스크에서 제거하고, 결함 확률이 높은 픽셀만 유지함으로써 패치 단위 블록 확장에 따른 경계 오탐을 줄일 수 있다. 또한 작은 고립 영역 제거 및 형태학적 후처리 등을 함께 적용하면, 패치 기반 관계 학습의 장점은 유지하면서도 실제 결함 경계에 더 가까운 픽셀 단위 마스크를 생성할 수 있을 것으로 판단된다.

데이터 수를 감소시킨 환경에서도 성능 저하가 비교적 안정적으로 나타난 것은, 축소된 데이터셋에서도 정상 이미 지와 주요 결함 유형의 구성이 유지되어 결함 후보 영역과 주변 패치 관계를 학습하는 데 필요한 기본 분포 정보가 보존되었기 때문으로 판단된다. 또한 제안 프레임워크는 이미지를 16×16 패치 단위의 노드와 엣지로 변환하여 학습 하므로, 이미지 수가 감소하더라도 하나의 이미지에서 다수의 패치 관계 정보가 생성된다. 이에 따라 제한된 데이터 환경에서도 결함 영역의 위치 정보와 공간적 연속성을 비교 적 안정적으로 학습할 수 있었으며, 그 결과 데이터 유형(b)에서도 성능 저하 폭이 크지 않은 것으로 해석된다.

또한 제안 모델이 아래 <Table 6>과 같이 Inference Time per Image가 가장 낮게 나타난 것을 확인할 수 있다. 이는 결함 후보 영역을 사전에 추출한 뒤, 후보 패치 중심으로 연산을 수행했기 때문이다. 비교 모델은 픽셀 단위의 전체 분할 연산을 수행하고, ViT 계열 모델은 전체 패치 간 관계를 넓게 고려하기 때문에 상대적으로 연산 부담이 증가한 것으로 볼 수 있다. 결과적으로 제안 모델은 결함 영역의 공간적 관계를 반영하면서 비교 모델 대비 효율적 인 추론 속도를 보인 것으로 사료된다.

아래 <Figure 7>은 학습 과정에서의 Loss 변화를 나타 낸다. 초기 epoch에서 Loss는 약 0.11 수준으로 시작하였으나, 학습이 진행됨에 따라 빠르게 감소하였고 이후 완만 한 감소 추세를 보였다. 특히 10 epoch 이후에는 Loss가약 0.04 수준에서 안정화되었으며, 후반부에서는 성능 개선 폭이 크지 않아 Early Stopping 기준에 따라 학습이 종료되었다. 이는 모델이 제한된 학습 데이터 내에서 결함 후보 영역과 패치 간 관계를 충분히 학습하였으며, 추가 학습으로 인한 과적합을 방지하기 위해 조기 종료가 적용 되었음을 의미한다.

성능 결과의 안정성을 확인하기 위해 동일한 데이터 분할 조건에서 Random Seed를 1, 42, 100으로 변경하여 3회반복 실험을 수행하였다. 각 실험은 동일한 학습 데이터, 테스트 데이터, 입력 해상도 및 하이퍼파라미터 조건에서 진행하였으며, 최종 성능은 <Table 7>에 평균(Mean)과 표준편차(Standard Deviation, Std)로 제시하였다.

반복 실험 결과, 제안 프레임워크는 Random Seed 변화에도 Accuracy, Precision, Recall, F1-score 및 IoU의 표준 편차가 낮게 나타났다. 이는 제안 프레임워크의 성능이 특정 초기값이나 단일 실행 결과에 과도하게 의존한 것이 아니라, 동일한 데이터 분할 및 학습 조건에서 비교적 안정적으로 재현될 수 있음을 의미한다. 특히 F1-score와 IoU는 결함 영역 탐지의 균형성과 영역 일치도를 나타내는 핵심 지표이므로, 해당 지표의 낮은 변동성은 제안 방법이 결함 영역을 안정적으로 탐지할 수 있음을 보여준다. 다만 본 반복 실험은 MVTec AD Bottle 데이터셋 내에서 수행된 안정성 검증이므로, 다양한 제품군과 결함 유형에 대한 일반화 성능은 향후 추가 검증이 필요하다.

다음으로 <Figure 8>은 제안 프레임워크를 적용한 최종 결함 영역 탐지 결과를 시각화한 것이다. 탐지 결과에서 노드는 결함 가능성이 높은 대표 패치를 의미하며, 반투명 영역은 GAT 기반 패치 관계 학습을 통해 결함으로 판단된 영역을 나타낸다. 또한<Figure 6>과 <Figure 8>의 GNN Mask는 16×16 패치 단위의 노드 예측 결과를 원본 영상 크기로 복원한 것이므로, 일부 결함 영역은 실제 Ground Truth보다 넓은 블록 형태로 표현될 수 있다. 이러한 블록 화 현상은 패치 기반 관계 학습 과정에서 발생하는 구조적 특성으로, 결함 주변의 연속성을 보완하는 장점이 있으나 결함 경계 외부의 정상 픽셀이 함께 탐지되는 오탐을 유발 할 수 있다. 따라서 본 연구에서는 시각화 결과와 별도로, 정량 평가는 원본 픽셀 단위 Ground Truth Mask를 기준으로 수행하여 블록화로 인해 확장된 영역이 False Positive로 반영되도록 하였다. 결과적으로 제안 프레임워크는 다양한 위치와 크기의 파손 영역에 대해 결함 가능성이 높은 영역을 중심으로 주변 이상 영역을 함께 탐지하였으며, 이를 통해 결함 영역의 공간적 확장성과 구조적 연속성을 반영할 수 있음을 확인하였다.

6. 결 론

본 연구에서는 이미지 결함 영역을 정밀하게 탐지하기 위해 Attention U-Net 기반 결함 후보 영역 추출과 GAT 기반 패치 관계 학습을 결합한 결함 영역 탐지 프레임워크를 제안하였다. 제안 방법은 먼저 Attention U-Net을 활용하여 입력 이미지에서 픽셀 단위 결함 후보 영역을 추출하고, 이를 16×16 패치 단위 그래프로 변환하였다. 이후 각 패치를 그래프의 노드로 정의하고, 패치 간 공간적 인접성과 특징 유사성을 기반으로 엣지를 구성하여 GAT를 통해 결함 가능성을 재평가하였다.

실험은 MVTec AD Bottle 데이터셋을 대상으로 수행하였으며, 제안 프레임워크는 <Table 1> 데이터셋 적용 기준 Accuracy 0.94, Precision 0.92, Recall 0.94, F1-score 0.94, IoU 0.91의 성능을 보였다. 또한 Inference Time per Image는 2.49ms로 나타나 비교 모델들보다 우수한 탐지 성능과 효율성을 확인하였다. 이는 제안 프레임워크가 CNN 기반 모델의 국소 특징 중심 판단, YOLO 기반 모델의 바운딩 박스 단위 탐지 한계, 단일 U-Net 기반 모델의 패치 간 관계 반영 부족을 보완하면서도, 결함 영역의 위치와 형태를 보다 정밀하게 추정할 수 있음을 의미한다.

특히 제안 프레임워크는 픽셀 단위 분할 결과를 단순히 최종 결과로 사용하는 것이 아니라, 결함 가능성이 높은 대표 패치와 주변 패치 간의 관계를 학습하여 결함 가능 영역을 확장적으로 탐지한다는 점에서 기존 분할 기반 접근과 차별성을 가진다. YOLO, U-Net 등의 기존 모델들이 개별 이미지 특징이나 픽셀 단위 예측에 주로 의존하였다 면, 본 연구는 결함 후보 영역과 주변 패치 간의 공간적 관계를 함께 반영함으로써 오탐을 줄이고 결함 영역의 구조적 연속성을 보다 안정적으로 표현할 수 있었다. 이것으로 실험에 사용한 데이터의 개수를 감소시켜도 성능이 크게 하락하지 않도록 유지하는 효과를 얻었다. 시각화 결과에서도 GAT 기반 결과는 패치 단위 예측 특성으로 인해 블록 형태의 마스크로 표현되었으나, 결함 후보 영역과 주변 이상 영역 간의 관계를 함께 고려하여 결함 영역의 확장적 판단에 효과적임을 확인하였다.

다만 본 연구의 실험은 MVTec AD의 Bottle 데이터셋을 중심으로 수행되었으므로, 제안 프레임워크의 성능을 모든 산업 결함 유형으로 일반화하기에는 한계가 있다. Bottle 데이터셋은 파손 및 오염과 같이 표면 결함이 비교 적 명확하게 나타나는 대상이므로, 향후 연구에서는 Capsule, Metal Nut, Cable, Hazelnut 등 서로 다른 형상과 결함 특성을 가지는 MVTec AD의 다양한 범주로 실험을 확장할 필요가 있다. 이를 통해 제안 프레임워크가 제품 형상, 결함 크기 및 결함 형태 변화에 대해서도 안정적으로 적용 가능한지 추가적으로 검증하고자 한다. 또한 패치 단위 그래프 변환 과정에서 세밀한 경계 표현이 일부 손실 될 수 있으므로, 향후 연구에서는 다중 해상도 패치 구성이나 픽셀 단위 후처리 기법을 결합하여 경계 정밀도를 향상시킬 필요가 있다. 더불어 실제 제조 현장 데이터에 대한 추가 실험을 통해 제안 프레임워크의 확장성과 실용 성을 검증하고자 한다.

Figure

<Figure 1>.

Attention U-Net Architecture [24]

<Figure 2>.

Graph Attention Network Architecture [4]

<Figure 3>.

Overall Architecture of the Proposed Framework

<Figure 4>.

Sample Images from the Bottle Dataset [2]

<Figure 5>.

Defect Candidate Extraction Result Using Attention U-Net

<Figure 6>.

Visual Comparison of U-Net and GNN-Based Defect Masks

<Figure 7>.

Training Loss Curve

<Figure 8>.

Final Defect Detection Results Using the Proposed Framework

Table

<Table 1>.

(a) Dataset Composition for Experiments

Dataset	Good	Broken Large	Broken Small
Train	150	38	42
Test	60	19	21

<Table 2>.

(b) Dataset Composition for Experiments

Dataset	Good	Broken Large	Broken Small
Train	100	25	25
Test	40	10	10

<Table 3>.

Hyperparameter Settings

Parameter	Value
Input Image Size	256 x 256
Patch Grid	16 x 16
Patch Size	16 x 16
Batch Size	8
Epochs	60
Learning Rate	0.001
Early Stopping Patience	8
Loss Function	BCEWithLogitsLoss
Optimizer	AdamW

<Table 4>.

Performance Comparison of Models – I (a) Training with 150 Good, 38 Broken Large, and 42 Broken Small Images (b) Training with 100 Good, 25 Broken Large, and 25 Broken Small Images

	Accuracy	Precision	Recall
U-Net	0.75	0.73	0.74	0.72	0.71	0.68
Attention U-Net	0.83	0.82	0.80	0.79	0.79	0.78
GAT	0.91	0.90	0.88	0.87	0.89	0.86
PatchCore-1%	0.93	0.92	0.89	0.87	0.91	0.88
EfficientAD-S	0.93	0.90	0.90	0.86	0.93	0.91
EfficientAD-M	0.94	0.93	0.92	0.90	0.93	0.92
ViT	0.84	0.79	0.80	0.76	0.82	0.71
CNN-GNN	0.89	0.86	0.87	0.84	0.90	0.85
Ours	0.94	0.93	0.92	0.91	0.94	0.93

<Table 5>.

Performance Comparison of Models – II (a) Training with 150 Good, 38 Broken Large, and 42 Broken Small Images. (b) Training with 100 Good, 25 Broken Large, and 25 Broken Small Images

	F1-Score	IoU
U-Net	0.70	0.65	0.59	0.55
Attention U-Net	0.81	0.79	0.74	0.71
GAT	0.87	0.86	0.79	0.77
PatchCore-1%	0.90	0.89	0.82	0.80
EfficientAD-S	0.91	0.90	0.84	0.82
EfficientAD-M	0.93	0.90	0.87	0.85
ViT	0.84	0.71	0.67	0.65
CNN-GNN	0.88	0.78	0.78	0.72
ViT-GNN	0.89	0.88	0.85	0.84
Ours	0.94	0.94	0.91	0.89

<Table 6>.

Performance Comparison of Models - III

	Inference Time per Image
U-Net	5.61ms
Attention U-Net	5.88ms
GAT	3.12ms
PatchCore-1%	45.29ms
EfficientAD-S	3.16ms
EfficientAD-M	8.47ms
ViT	6.03ms
CNN-GNN	3.89ms
ViT-GNN	2.66ms
Ours	2.49ms

<Table 7>.

Stability Analysis of the Proposed Framework under Repeated GAT Experiments

Metric	Mean	Std
Loss	0.0870	0.0052
Accuracy	0.9497	0.0003
Precision	0.8992	0.0121
Recall	0.9213	0.0141
F1-Score	0.9117	0.0031
IoU	0.8656	0.0433

Reference

Batzner, K., Heckler, L., and König, R., EfficientAD: Accurate Visual Anomaly Detection at Millisecond-Level Latencies, Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2024, pp. 128-138.
Bergmann, P., Fauser, M., Sattlegger, D., and Steger, C., The MVTec Anomaly Detection Dataset: A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection, International Journal of Computer Vision, 2021, Vol. 129, pp. 1038-1059.
Choi, J.M., Performance Analysis of YOLO-Based Road Damage and Vehicle Detection, Journal of Digital Art Engineering and Multimedia, 2025, Vol. 12, Iss. 4, pp. 497-504.
Fei, Z., Guo, J., Gong, H., Ye, L., Attahi, E., and Huang, B., A GNN architecture with local and global-attention feature for image classification, IEEE Access, 2023, Vol. 11, pp. 110221-110233.
Fragapane, G., Eleftheriadis, R., Powell, D., and Antony, J., A global survey on the current state of practice in Zero Defect Manufacturing and its impact on production performance, Computers in Industry, 2023, Vol. 148, 103879.
Ha, J.E., Lee, S.Z., Kim, D.R., and Choi, J.I., A Case Study of Graph Neural Network-Based Anomaly Detection and Root Cause Visualization for Quality Improvement in Semiconductor Manufacturing, Journal of Korean Society for Quality Management, 2025, Vol. 53, Iss. 2, pp. 237-248.
Han, K., Wang, Y., Guo, J., Tang, Y., and Wu, E., Vision GNN: An Image is Worth Graph of Nodes, Advances in Neural Information Processing Systems 35, New Orleans, Louisiana, USA, 2022, pp. 8291-8303.
Han, Y., Wang, P., Kundu, S., Ding, Y., and Wang, Z., Vision HGNN: An Image is More than a Graph of Nodes, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), Paris, France, 2023, pp. 19878-19888.
Jin, X., Shui, H., and Shpitalni, M., Virtual sensing and virtual metrology for spatial error monitoring of roll-to-roll manufacturing systems, CIRP Annals, 2019, Vol. 68, Iss. 1, pp. 491-494.
Kim, D.H., Ueno, G.H., Lee, H., and Lee, S.C., YOLOv8-Based Real-Time Fiducial Mark Defect Detection in High-Speed SMT Under Data Imbalance, Journal of Digital Contents Society, 2026, Vol. 27, No. 3, pp. 803-812.
Kim, H.W., Kim, S.M., and Sohn, J.M., Anomaly Detection in IR-Camera Using Deep Learning, Journal of the Korea Society of Computer and Information, 2025, Vol. 30, No. 4, pp. 1-9.
Kim, J.H., Noh, J.H., Jang, J.Y., and Yang, H.D., Crack Detection in Low-Resolution Images Using Attention U-Net, Smart Media Journal, 2025, Vol. 14, No. 4, pp. 9-17.
Kim, K.J. and Kim, G.Y., Memory-efficient Image Patch Distribution Modeling for Industrial Anomaly Detection, Journal of the Korea Society of Computer and Information, 2026, Vol. 31, No. 4, pp. 97-106.
Kim, S.E. and Lim, J.S., CNN-ViT Hybrid Aesthetic Evaluation Model Based on Quantification of Cognitive Features in Images, Journal of IEEE, 2024, Vol. 28, No. 3, pp. 352-359.
Kim, S.H., Kwon, K.W., and Kim, J.H., A Study on Orthogonal Image Detection Precision Improvement Using Data of Dead Pine Trees Extracted by Period Based on U-Net model, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 2022, Vol. 40, No. 4, pp. 251-260.
Kim, S.M., Oh, S.J., Yun, S.M., Lee, S.Y., Lim, C.H., Jang, H.J., Han, G.E., and Cho, S.W., Deep Learning- Based Approach for Surface Defect Classification in Cylindrical Battery Cell Manufacturing Lines, Journal of the Korea Management Engineers Society, 2025, Vol. 30, No. 4, pp. 13-23.
Long, J., Yan, Z., and Chen, H., A graph neural network for superpixel image classification, Journal of Physics: Conference Series, 2021, Vol. 1871, pp. 012071.
Patro, B.N., Namboodiri, V.P., and Agneeswaran, V.S., SpectFormer: Frequency and Attention is what you need in a Vision Transformer, 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), Tucson, AZ, USA, 2025, pp. 9543-9554.
Powell, D., Magnanini, M.C., Colledani, M., and Myklebust, O., Advancing Zero Defect Manufacturing: A state-of-the-art Perspective and Future Research Directions, Computers in Industry, 2022, Vol. 136.
Pradhyumna, P., Shreya, G.P., and Mohana, Graph Neural Network (GNN) in Image and Video Understanding Using Deep Learning for Computer Vision Applications, 2021 Second International Conference on Electronics and Sustainable Communication Systems (ICESC), 2021, Coimbatore, India, pp. 1183-1189.
Psarommatis, F. and Azamfirei, V., Zero Defect Manufacturing: A Complete Guide for Advanced and Sustainable Quality Management, Journal of Manufactur- ing Systems, 2024, Vol. 77, pp. 764-779.
Quek, A., Wang, Z., Zhang, J., and Feng, D., Structural Image Classification with Graph Neural Networks, 2011 International Conference on Digital Image Computing: Techniques and Applications, Noosa, QLD, Australia, 2011, pp. 416-421.
Roth, K., Pemula, L., Zepeda, J., Schölkopf, B., Brox, T., and Gehler, P., Towards Total Recall in Industrial Anomaly Detection, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 14318-14328.
Sultana, A., Enhancing Breast Cancer Image Analysis Through Attention Mechanisms: A Comparative Study of U-Net and Attention U-Net Models, 2024 IEEE International Conference on Computing, Applications and Systems (COMPAS), 2024, pp. 1-8.
Vrahatis, A.G., Lazaros, K., and Kotsiantis, S., Graph Attention Networks: A Comprehensive Review of Methods and Applications, Future Internet, 2024, Vol. 16, pp. 318.
Yang, J., Lu, J., Lee, S., Batra, D., and Parikh, D., Graph R-CNN for Scene Graph Generation, Proceedings of the European Conference on Computer Vision (ECCV), 2018, Munich, Germany, pp. 670-685.
Yu, H.J. and Kim, H.C., Vehicle Damage Detection with YOLO and Visual Embedding Fusion, Journal of the Korea Institute of Information and Communication Engineering, 2025, Vol. 29, No. 11, pp. 1481-1488.
Zhangruirui, Youjie, Kim, D.H., Lee, S.A., and Lee, J.W., Searching Damaged Pine Trees by Wilt Disease Based on Deep Learning Using Multispectral Image, The Journal of Korean Institute of Communication, 2020, Vol. 45, No. 11, pp. 1823-1830.
Zhou, J., Cui, G., Hu, S., Zhang, Z., Yang, C., Liu, Z., Wang, L., Li, C., and Sun, M., Graph neural networks: A review of methods and applications, AI Open, 2020, Vol. 1, pp. 57-81.