Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.49 No.2 pp.23-35
DOI : https://doi.org/10.11627/jksie.2026.49.2.023

Reinforcement Learning-based Dynamic Scheduling Optimization for an Integrated Molecular Diagnostics Automation System

Hong-Mo Yang^*

, Moonsoo Shin^**†

^*Department of Smart Production and Management Engineering, Hanbat National University
^**Department of Industrial and Management Engineering, Hanbat National University

^† Corresponding Author : shinms@hanbat.ac.kr

Received 21/04/2026 Finally Revised 18/05/2026 Accepted 25/05/2026

Abstract

There is a growing need for adaptive operational control to manage stochastic sample arrivals and strict turnaround deadlines in molecular diagnostics systems. Conventional static dispatching rules, however, often struggle to accommodate sudden surges in urgent samples, leading to bottleneck propagation across serial diagnostic processes. The primary objective of this study is to develop a multi-agent reinforcement learning framework for dynamic scheduling within a discrete event simulation environment. In this framework, independent deep Q-network agents at six serial diagnostic stages dynamically select from three dispatching rules—first-in-first-out, urgent-first, and earliest due date. These decisions are based on continuous-state observations of queue congestion, urgency mix, and remaining deadline, with hyperparameters determined through random search. The simulation environment was preliminarily validated by comparing Gantt-chart-based field schedules with simulation outcomes using a paired t-test. The proposed model was evaluated against a rule-based baseline, a genetic algorithm policy, and a tabular Q-learning model under three urgency-ratio regimes. During overload scenarios, the proposed framework demonstrated a statistically significant improvement in the high-urgency on-time rate compared to the rule-based baseline, while simultaneously reducing average waiting times. The genetic algorithm converged to a static, rule-equivalent mapping, whereas the critical-urgency on-time rate remained consistent across all four models. Overall, these results imply that continuous-state multi-agent reinforcement learning provides superior adaptive responsiveness in high-load regimes. Future research should focus on extending this framework to facility-level dispatching to address load imbalance among parallel machines.

Key Words : Molecular Diagnostic , Integrated Automation System , Discrete Event Simulation , Multi-Agent Reinforcement Learning , Dynamic Scheduling , Genetic Algorithm

강화학습을 활용한 분자진단 통합자동화 시스템의 동적 스케줄링 최적화

양홍모^*, 신문수^**†

^*국립한밭대학교 스마트시스템경영공학과
^**국립한밭대학교 산업경영공학과

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

최근 고위험 감염병 발생 빈도가 높아짐에 따라 신속하고 정확한 감염병 진단에 대한 수요가 늘어나고 있다. 이에 자동화 진단 시스템의 수요가 커지고 있다. 특히 분자진단 기술은 유전자 증폭 기술을 활용하여 감염 여부를 신속하고 정확하게 판정할 수 있어 주목받고 있다. 하지만 수작업으로 검체의 전처리부터 유전자추출, 시약분주, 유전자 증폭(polymerase chain reaction; PCR), 데이터 분석에 이르는 전 과정을 진행할 경우에 많은 인력과 시간이 소요된다는 단점이 있다.

이와 같은 수작업의 한계를 극복하고자, 개별 진단 공정들을 소형 자동화 설비로 통합한 정밀 분자진단 통합자동화 시스템이 등장하였다(<Figure 1> 참조). 해당 시스템은 환자로부터 채취한 혈액, 타액, 소변 등의 검체 내에 존재하는 세균이나 바이러스 같은 원인 병원체의 유전 물질을 오염 없이 신속하게 추출 및 증폭하여 질병 감염 여부를 확진하는 기능을 수행한다. 이러한 공정 표준화는 인적 오류에 따른 재검사 빈도를 낮추고 검체 처리량 증대와 의료 종사자의 2차 감염 위험을 차단하여 전반적인 진단 품질을 향상시킬 수 있다[3].

선행 연구[22]에서는 이러한 분자진단 통합자동화 시스템의 설비배치 최적화 방안을 제시하였다. 이산사건 시뮬레이션(discrete event simulation; DES) 기법과 유전알고리즘(genetic algorithm; GA)을 기반으로 공정별 최적의 설비 대수와 배치(batch) 사이즈, 그리고 재공재고(work-in-process; WIP) 총량을 결정한다. 이를 통해 설비 비용을 최소화하면서 목표 생산량을 달성하는 시스템의 하드웨어적 구성 기반을 마련하였다.

하지만 실제 진단센터의 운영 환경은 매우 역동적이다. 예를 들어, 오전에는 검체가 몰려들다가 오후에는 급격히 줄어드는 등, 시간대별로 검체 도착률이 큰 폭으로 요동친다. 여기에 더해 응급실 환자나 수술을 앞둔 급성 질환 의심 환자처럼 마감시간(deadline)이 엄격히 정해진 ‘긴급 검체’가 예고 없이 발생하기도 한다[8]. 이런 복잡한 상황에서 전형적인 선입선출(first-in-first-out; FIFO) 방식이나 단순한 긴급 우선 규칙만으로는 변화무쌍한 수요에 민첩하게 대응하기 어렵다. 만일 공정 내에 병목 현상이 생긴다면, 결국 긴급 검체의 마감시간을 맞추지 못하는 상황도 자주 발생한다.

이에 본 연구에서는 선행 연구로 구축된 분자진단 통합자동화 시스템의 최적 설비 배치 환경을 토대로, 동적으로 변화하는 상황에 맞춘 스케줄링 최적화 방안을 모색하고자 한다. 특히 실시간으로 수요가 바뀌고 긴급 검체가 예기치 않게 생길 때에도 유연하게 대처할 수 있도록, 다중 에이전트 강화학습(multi-agent reinforcement learning; MARL) 기법을 도입하였다. 구체적으로는 각각의 단위공정마다 독립적인 에이전트를 배치하는 분산 제어 방식을 적용하였다. 이러한 방식 덕분에 각 공정의 에이전트들은 그 순간의 대기열 상태와 각 검체의 마감시간을 실시간으로 파악하고, 상황에 가장 적합한 작업 할당 규칙을 스스로 판단해 선택할 수 있다. 결과적으로 기존의 정적 스케줄링 기법으로는 대처하기 힘든 긴급 검체의 대량 유입이나 예기치 못한 병목 현상에도 유연하게 대응할 수 있는 실시간 적응형 스케줄링 방법론을 제공한다.

본 논문의 이후 구성은 다음과 같다. 제2장은 관련연구를 제시하고, 정리한다. 제3장은 연구 문제 정의와 스케줄링 모델을 설명한다. 제4장은 이산사건 시뮬레이션 환경 구성과 강화학습 모델 설계를 설명한다. 제5장에서는 비교 정책 및 모델 적용 결과를 분석한다. 제6장에서 결론과 함께 향후 연구 과제를 제시한다.

2. 관련연구

2.1 동적 스케줄링과 강화학습 기반 최적화

전통적인 유연 잡샵 스케줄링 문제(flexible job-shop scheduling problem; FJSP)나 진단센터의 스케줄링 문제는 주로 GA나 입자군집최적화(particle swarm optimization; PSO)와 같은 메타휴리스틱 기법을 많이 사용해왔다. 이런 방법들은 작업 조건이 변하지 않는 정적 환경에서 해답을 찾을 때 적합하다. 그러나 실제 현장처럼 검체가 불규칙하게 도착하는 등 실시간 변동성이 큰 동적환경에서는 계속해서 재계산을 해야 하므로 높은 비용을 요구하여 비효율적이다[24].

이를 극복하기 위해 최근 학계에서는 마르코프 결정과정(Markov decision process; MDP)에 기반하여 환경과 상호작용하며 실시간 최적 행동을 학습하는 강화학습(reinforcement learning; RL) 적용 연구가 급증하고 있다. 강화학습은 오프라인에서 다양한 상황을 반복 시뮬레이션하여 얻어진 최적 정책을 바탕으로, 온라인 실행 시에는 단순한 상태 입력만으로도 실시간 의사결정을 내릴 수 있다[11, 19]. 특히 반도체 생산라인이나 분산형 공장 네트워크에서의 동적 주문 할당 및 병목 감지에 강화학습을 적용하여, 기존의 우선순위 휴리스틱 규칙보다 탁월한 성능을 도출한 연구 사례들이 다수 보고되고 있다[19, 20].

2.2 다중 에이전트 강화학습

분자진단 통합 자동화 시스템은 6단계 연속 공정으로 구성되며, 공정마다 투입되는 검체의 특성에 따라 다양한 병목현상이 나타난다. 만약 시스템 전반을 단일 에이전트가 제어하면 모든 공정의 대기열 상태, 잔여 마감시간, 도착 이벤트를 동시에 계산해야 한다. 이는 상태 공간이 급증하는 문제를 발생시킨다. 실제 공장에서는 각 설비가 자기앞의 버퍼 상태만 관측 가능하여 시스템 전체 상황을 완벽히 관측하는 것은 사실상 불가능하다. 따라서 본 시스템은 부분 관측 환경에서의 제어 문제로 봐야한다. 이 문제를 해결하기 위해서는 각 공정마다 독립적으로 의사결정을 하는 분산 제어 시스템이 필요하다. 이에 에이전트의 연산 부담을 줄여주는 MARL이 좋은 대안이 될 수 있다[13, 17].

MARL은 교통 신호 제어[9], 에너지 시스템 최적화[16] 등 복잡한 네트워크 제어에 광범위하게 쓰이며, 생산 스케줄링 분야에서도 이기종 설비들이 각자의 버퍼를 관리하며 국소적 관측을 통해 분산화된 의사결정을 수행함으로써 전체 시스템의 최적화를 이끌어내는 데 성공적으로 적용되고 있다[7, 23].

이러한 강화학습 및 다중 에이전트 강화학습을 활용한 스케줄링 최적화 관련 주요 선행연구는 <Table 1>과 같이 요약할 수 있다. 기존 연구들은 주로 FJSP나 반도체 공정 등 전통적인 제조 환경에 집중되었으나, 최근 들어서는 병원 수술실, MRI 진단 스케줄링 등 의료 및 헬스케어 분야의 실시간 자원 할당 문제로 그 적용 범위가 빠르게 확장되고 있음을 확인할 수 있다[1, 12, 18].

헬스케어 분야의 기존 연구들은 주로 환자 대기열이나 병상 할당 같은 단일 공정 기반에 적용되고 있으며 다단계 직렬 공정에서의 병목 현상이나 긴급 검체의 마감시간에 따른 검체 할당 문제를 다루는 데에는 한계가 있었다. 따라서 본 연구에서는 심층 Q-네트워크(deep Q-network; DQN) 기반의 MARL 프레임워크를 구현함으로써 연속적인 상태 공간에서도 정밀하게 인식하고 스케줄링 규칙을 선택하도록 설계하였다.

3. 문제정의

3.1 시스템 및 동적 환경 정의

본 연구의 대상이 되는 분자진단 시스템은 총 6개의 직렬 단위공정으로 구성된다. 각 단위공정 $i$ 는 고유의 가공시간 $P T_{i}$ 와 설비 대수 $M C_{i}$ , 그리고 한 번에 처리하는 단위인 배치 사이즈 $B S_{i}$ 를 주요 변수로 갖는다. 단위공정의 집합 $U$ 에 대해 개별 단위 공정 $i$ 의 제약 조건은 식 (1)과 같이 정의한다.

P C_{i} = {P T_{i}, M C_{i}, B S_{i}}, \forall i \in U

(1)

실제 진단센터의 불확실성을 모사하기 위해 다음과 같은 동적 환경 변수를 반영하였다.

1) 가변적 검체 도착률: 시간 $t$ 에 따른 검체 도착은 포아송 분포(poisson distribution)를 따르며, 특정 시간 구간 $[t_{1}, t_{2}$ ] 동안 도착하는 검체의 기댓값 $Λ (t_{1}, t_{2})$ 는 가변 도착률 $λ (t)$ 에 대하여 식 (2)와 같이 정의된다.

Λ (t_{1}, t_{2}) = \int_{t_{1}}^{t_{2}} λ (t) d t

(2)

2) 검체별 긴급도 계층화 및 마감시간 제약: 임의의 검체 $j$ 는 고유의 도착 시간 $A T_{j}$ 와 무작위로 할당되는 긴급도 등급 $g \in G$ 를 갖는다. 이때 긴급도 등급은 극긴급과 고긴급, 중간긴급, 일반으로 구분되며, 엄격하게 제한된 잔여 마감시간(remaining deadline) $Δ_{j}, g$ 가 부여된다. 검체 $j$ 의 절대적 마감시간 $D L_{j}$ 와 시점 $t$ 에서의 잔여 마감시간 $R D_{j} (t)$ 는 식 (3), (4)와 같이 산출된다.

D L_{j} = A T_{j} + Δ_{j, g}

(3)

R D_{j} (t) = D L_{j} - t

(4)

본 연구에 적용된 구체적인 수치 설정과 공정 파라미터는 제5장 실험에서 상세히 다룬다.

3.2 MDP 모델

본 연구의 동적 스케줄링 문제는 시간에 따라 확률적으로 변화하는 시스템의 상태(검체의 도착, 설비의 유휴 상태 등)를 기반으로 최적의 작업 처리 규칙을 결정하는 순차적 의사결정 문제이다. 따라서 이를 MDP 모델로 수식화하여 정의할 수 있다. 시스템의 의사결정 과정은 일반적으로 튜플 $(S, A, P, R)$ 로 정의되며, 각 구성요소는 다음과 같은 의미를 갖는다.

1) 상태 공간( $S$ ): 시스템 내 모든 공정의 대기열 혼잡도, 검체의 긴급도 및 잔여 마감시간 등 스케줄링 의사결정에 필요한 시스템 상태 정보의 집합이다.
2) 행동 공간( $A$ ): 설비가 유휴 상태가 되어 배치를 구성해야 할 때 에이전트가 선택할 수 있는 스케줄링 규칙(선입선출, 긴급 우선, 마감시간 우선)의 집합이다.
3) 전이 확률( $P$ ): 현재 상태 $s \in S$ 에서 행동 $a \in A$ 를 취했을 때 다음 상태 $s'$ 로 변화할 확률 함수 $P (s' | s, a)$ 이다.
4) 보상 함수( $R$ ): 상태 $S$ 에서 행동 $A$ 를 수행하여 상태가 변화했을 때 환경으로부터 받는 즉각적인 스칼라 지표 $R (S, A)$ 이다. 시스템의 목표인 전체 처리량 유지 및 긴급 검체의 마감시간 준수 여부로 평가된다.

4. 방법론

4.1 이산사건 시뮬레이션 모델

본 연구에서는 물리적인 분자진단 통합자동화 시스템의 공정 제약과 흐름을 가상 환경에 모사하기 위해 Python 기반의 오픈소스 프레임워크인 SimPy를 활용하여 이산사건 시뮬레이션 모델을 구축하였다. SimPy의 핵심 구성요소는 <Figure 2>에서 보이는 바와 같이 환경(environment)과 프로세스(process), 자원(resource)으로 구성된다.

검체(entity) 생성시 저마다 고유의 긴급도와 마감시간을 지정한다. 공정 흐름은 SimPy.Process가 통제한다. 6단계의 진단 설비 공정(de-capping→extraction→dispenser→PCR setup→PCR running→analysis)은 SimPy.Resource로 모델링된다. 각 공정마다 설비 대수와 한번에 처리하는 배치 최대 용량이 제한에 따라 다르게 설정된다. 설비 앞에는 입력 버퍼로 대기열을 관리한다. 강화학습 에이전트의 스케줄링 정책을 적용해 대기 중인 검체를 배치 단위로 묶는다. 이후 설비를 할당받고, 정해진 시간 동안 가공된 다음 설비를 반납하고 다음 공정으로 이동 순으로 사건 흐름을 구현하였다.

본 시뮬레이션 모델의 타당성을 검증하기 위해 선행 연구[22]에서 실제 현장에서 데이터를 기반으로 사용하는 간트차트를 이용한 공정 스케줄링 분석 결과와 본 이산사건 시뮬레이션 모델의 산출 결과를 비교하였다. 검증은 <Table 2>와 같이 진단센터 유형별(종합병원, 혈액검사센터, 응급실, 지역병원, 소규모병원) 일일 처리량(540분 가동시간 기준)을 기준으로 실시하였다.

대응표본 t-검정 결과 t 통계량은 0.154(자유도=4)이며, p값이 0.88로 유의수준 0.05보다 크게 나타났다. 즉, 현장의 스케줄링 분석과 본 이산사건 시뮬레이션 모델 간의 생산량 차이에서 통계적 유의성을 발견할 수 없었다. 본 검정은 자유도 4의 검정력 한계를 가지므로 모델 산출 처리량이 현장 데이터의 양적 수준을 재현함을 확인하는 1차 점검에 해당하며, 공정별 체류시간과 설비 이용률, 평균 재공재고, 병목 위치 등 복수 KPI 검증과 표본 수의 확장은 향후 연구 과제이다.

4.2 MDP 정의

4.2.1 상태

각 공정의 에이전트는 해당 공정에서 물리적인 배치가 형성 가능한 시점(설비 유휴 상태)마다 입력 버퍼의 상태를 관측한다. 제안하는 DQN 모델은 진단센터의 스케줄링 환경을 정밀하게 제어하기 위해 연속 상태를 포괄하는 정규화된 6차원 벡터 $s = I_{U}, I_{Q}, I_{T}, R_{U}, R_{Q}, R_{T}$ 를 상태 공간으로 정의하였다. 에이전트가 관측하는 상태 벡터는 식 (5)와 같다.

{\begin{matrix} I_{U} = 1 & if ρ_{u r g e n t} > 0, else 0 \\ I_{Q} = 1 & if q / 200 \geq 0.5, else 0 \\ I_{T} = 1 & if t_{u r g e n t} \leq 60, else 0 \\ R_{U} = ρ_{u r g e n t} \\ R_{Q} = min (q / 200, 1) \\ R_{T} = min (t_{u r g e n t} / 480, 1) \end{matrix}

(5)

$q$ 는 현재 대기열에 있는 총 검체 수, $t_{u r g e n t}$ 은 대기열 내 가장 시급한 검체의 잔여 마감시간(분), $ρ_{u r g e n t}$ 는 대기열 내 긴급 검체 비율을 의미한다. 연속적인 벡터 공간을 사용함으로써 이산적인 상태 분류보다 정확한 대기열 혼잡도나 긴급 검체 비율을 감지할 수 있어 정밀한 제어가 가능하다.

식 (5)에 사용되는 이진 변수의 임계값은 본 분자진단 시스템의 운영 특성을 반영하여 설정되었다. $I_{Q}$ 의 임계값 분모 200은 병목 지점인 PCR running 공정 앞의 대기열 길이가 빈번하게 초과되는 경험적 관측값으로, 본 시스템 운영 부하의 실측 상한에 해당한다. 또한 임계값 0.5는 본 관측값의 절반 이상이 적재되는 시점부터 PCR running 공정의 대기 길이가 비선형적으로 증가하는 구간이다. $I_{T}$ 의 임계값 60분은 극긴급 검체의 허용 마감시간 하한인 180분의 1/3 수준으로, 잔여 60분 미만 시 일반 공정 흐름에서 마감시간 준수가 불가능해지는 임계 구간이다. $I_{U}$ 의 임계값은 긴급 검체가 단 한 건이라도 대기열에 존재하는 상태를 의미한다.

4.2.2 행동

에이전트는 관측된 상태 $s_{t}$ 를 바탕으로 다음 세 가지 규칙 중 하나를 행동 $a \in 1, 2, 3$ 로 선택하여 배치 작업을 수행한다.

1) $a = 1$ (FIFO): 대기열에 도착한 시간 순서대로 검체를 처리한다.
2) $a = 2$ (urgent first; UF): 긴급도가 높은 검체(극긴급 > 고긴급 > 중간긴급)를 최우선으로 정렬하여 처리 단위를 구성한다.
3) $a = 3$ (earliest due date; EDD): 잔여 마감시간이 가장 적게 남은 검체부터 우선적으로 처리한다.

4.2.3 보상 함수

본 연구에서 제안하는 다중 에이전트 시스템의 궁극적인 최적화 목적은 전체 공정의 처리량을 최대 수준으로 유지함과 동시에, 긴급 검체의 대기시간을 최소화하고 적시처리율(on-time rate)을 극대화하는 것이다. 이를 달성하기 위해, 기존의 휴리스틱한 주관적 가이드라인(예, 특정 행동 선택 시 부여되는 가점 등)을 배제하고, 오직 배치에 포함된 긴급 검체들의 객관적 지표(예, 실제 대기시간과 잔여 마감시간)만을 기반으로 즉각적 보상( $R_{t}$ )을 수식화하였다.

특정 시점 $t$ 에서 행동 $a_{t}$ 를 취해 구성된 배치 $B$ 에 대하여, 긴급 검체 집합 $B_{u r g e n t}$ 로부터 얻는 총 보상 $R_{t}$ 는 식 (6)과 같이 대기시간 보상( $R_{w a i t}$ )과 잔여 마감시간 보상( $R_{d e a d l i n e}$ )의 합으로 정의된다.

R_{t} = \sum_{i \in B_{u r g e n t}} (R_{w a i t} (i) + R_{d e a d l i n e} (i))

(6)

이때, 각 긴급도에 따른 고유 가중치( $w_{u r g e n c y}$ )는 극긴급 10, 고긴급 5, 중간긴급 2로 부여된다. 상세한 보상 및 패널티 산출 기준은 <Table 3>과 같다.

대기시간( $t_{w a i t}$ ) 보상은 신속하게 처리될수록 가중치( $w_{u r g e n c y}$ )에 비례한 높은 점수를 부여하며, 60분을 초과하여 지연될 경우 초과된 시간 비례 패널티를 적용하여 불필요한 공정 정체를 방지한다. 잔여 마감시간( $t_{r e m a i n i n g}$ ) 보상 역시 여유 시간에 따라 양(+)의 보상을 지급하며, 마감시간이 경과하여 지연이 발생할 경우 지수적으로 증가하는 강력한 패널티를 부과하여 에이전트가 긴급 검체의 적시처리율을 높이도록 유도한다.

4.3 다중 에이전트 Deep Q-Network (DQN)

본 연구에서는 진단센터의 스케줄링을 정밀하게 제어하고 환경의 불확실성에 대응하기 위해서 6차원의 연속값 상태 공간을 활용하여 다중 에이전트 기반의 DQN 프레임워크를 설계하였다. 일반적으로 사용되는 단일 에이전트 DQN이 전체 공정의 모든 상태를 관측하여 제어하려고 할 경우 상태 변수와 경우의 수가 많아져 학습 효율이 급격히 떨어지는 차원의 저주 문제를 야기한다. 이러한 문제를 해결하기 위해 제안하는 모델은 6개 직렬 공정마다 에이전트를 각각 할당하여 에이전트의 연산량을 줄이고 각각 에이전트가 극단적인 병목 상황에서도 3가지 스케줄링 행동에 대한 Q 가치 함수 $Q (s, a; θ)$ 를 미세하게 조정할 수 있도록 설계하였다.

특히, 에포크(epoch) 단위로 모아서 한번에 학습하도록 설계함으로써 모델의 과적합(overfitting)을 방지하여 성능을 유지할 수 있게 했다. 매 에피소드마다 파라미터를 갱신하지 않고 다양한 시나리오를 통해 누적된 데이터(상태, 행동, 보상)를 메모리 버퍼에 저장한 후 에포크 종료 시점에 신경망 및 가치 함수를 일괄적으로 업데이트하는 구조이다.

이렇듯 다중 신경망 구조의 학습 안정성을 확보하기 위해 적용된 두 가지 핵심 메커니즘은 다음과 같다. 첫째, 경험 재생(experience replay) 기법이다. 매 에포크마다 발생한 전이 데이터 $(s_{t}, a_{t}, R_{t}, s_{(t + 1)})$ 를 재생 버퍼(replay buffer; $D_{i}$ )에 저장한 후 에포크 종료 시점에 버퍼에서 정해진 크기의 미니배치(mini-batch; $B$ )를 무작위로 추출하여 반복 학습 $K$ 을함으로써 데이터 간의 시간적 편향을 제거하였다. 둘째, 타겟네트워크(target network)의 분리이다. 지속적으로 갱신되는 주 네트워크(main network)와 정해진 스텝 주기 $C$ 마다 가중치 $θ^{-}$ 가 갱신되는 타겟네트워크를 별도로 두어 목표 Q-value가 흔들리는 문제를 해결하였다.

DQN의 신경망 가중치 $θ$ 는 식 (7)과 같이 평균 제곱 오차(mean squared error) 기반의 손실 함수(loss function) $L (θ)$ 를 최소화하도록 경사하강법을 통해 최적화되며, 전체 학습 구조는 <Algorithm 1>과 같다.

L (θ) = 𝔼_{(s, a, R, s') \sim U (D)} [{(R_{t} + γ {max}_{a'} \hat{Q} (s_{t + 1}, a'; θ^{-}) - Q (s_{t}, a_{t}; θ))}^{2}]

(7)

<Algorithm 1>은 본 연구에서 분자진단 6단 직렬 공정의 분산 의사결정 구조를 위해 새롭게 제안한 다중 에이전트 DQN 학습 절차이다. 표준적인 단일 에이전트 DQN 학습 절차가 매 시점(step) 가중치 갱신을 가정하는 것과 달리, 본 알고리즘은 6개 공정에 독립적인 신경망 및 재생 버퍼 $D_{i}$ 를 할당하고, 매 에피소드당 N개 시나리오를 누적한 뒤 에피소드 종료 시점에 K회 미니배치 학습을 일괄 수행하며, 200 스텝 주기로 타깃 네트워크 $θ_{i}^{-}$ 를 동기화하는 차별점을 갖는다. 이는 분산된 부분 관측(partial observation) 환경에서 학습 안정성을 확보하기 위한 설계이다.

<Algorithm 1>

Multi-Agent Deep Q-Network (DQN)

Initialize replay memory $D_{i}$ for each agent $i \in \{1, \dots, 6\}$
Initialize action-value function $Q_{i}$ with random weights $θ_{i}$ for each agent $i$
Initialize target action-value function ${\hat{Q}}_{i}$ with weights $θ_{i}^{-} = θ_{i}$ for each agent $i$
for episode = $1$ to $M$ do
for scenario = $1$ to $N$ do
Initialize simulation environment
while simulation is running do
for each agent $i \in \{1, \dots, 6\}$ do
Observe current continuous state vector $s_{t}$
With probability $ε_{i}$ select a random action $a_{t} \in A$
Otherwise select $a_{t} = {argmax}_{a} Q_{i} (s_{t}, a; θ_{i})$
Execute action $a_{t}$ in the environment and calculate immediate reward $R_{t}$
Observe next state $s_{t + 1}$ and terminal flag done
Store transition $(s_{t}, a_{t}, R_{t}, s_{t + 1}, done)$ in replay memory $D_{i}$
end for
end while
end for
for each agent $i \in \{1, \dots, 6\}$ do
if length of $D_{i} > B$ then
for step = $1$ to $K$ do
Sample random mini-batch of transitions $(s_{j}, a_{j}, R_{j}, s_{j + 1}, done)$ from $D_{i}$
ifdone is true then
Set $y_{j} = R_{j}$
else
Set $y_{j} = R_{j} + γ \max_{a'} {\hat{Q}}_{i} (s_{j + 1}, a'; θ_{i}^{-})$
Perform a gradient descent step on ${(y_{j} - Q_{i} (s_{j}, a_{j}; θ_{i}))}^{2}$ with respect to $θ_{i}$
if step count modulo $C \equiv 0$ then
Update target network: $θ_{i}^{-} \leftarrow θ_{i}$
end if
end for
end if
Update exploration rate $ε_{i}$
end for
end for

5. 실험

5.1 비교 정책 정의

본 연구에서 제안하는 다중 에이전트 기반 DQN 모델의 성능을 검증하기 위해 1) 기존 규칙 기반 시스템과 2) GA 기반 메타휴리스틱 모델, 3) 다중 에이전트 기반 Q-learning 모델을 비교군으로 하는 시뮬레이션 실험을 수행하였다. 본 실험의 목적은 제안된 DQN 모델이 기존 방식들보다 높은 적시처리율을 도출하는지 검증하는 것이다.

본 연구에서 GA 기반 모델을 비교 대상으로 삼은 이유는 단순한 성능 차이를 보려는 것이 아니라 의사결정을 내리는 구조의 차이를 검증하기 위해서다. 기존 스케줄링 연구에서 많이 쓰이는 GA와 같은 메타휴리스틱 기법은 대표적인 오프라인 최적화 방법이다. 시뮬레이션을 여러 번 실행하여 나온 결과를 보고 가장 좋은 정책을 찾아야 한다. 이런 방법은 시스템 전체를 고정된 정책으로 묶어서 전역 최적해를 찾을 때는 좋다. 하지만 실제 운영 과정에서 갑자기 생기는 이벤트나 상황 변화에는 즉각적으로 대처하기 어렵다는 구조적 한계를 가진다.

반면 본 연구에서 제안하는 강화학습 기반 스케줄링은 온라인 제어 정책이다. 상황이 변할 때마다 실시간으로 상태를 보고 적절한 행동을 스스로 판단한다. 즉, GA 모델이 미리 정해진 정적 정책 최적화를 의미한다면, 강화학습 모델은 상황에 맞춰 정책이 바뀌는 동적 제어를 의미한다.

5.1.1 규칙 기반 시스템(Rule-based)

규칙 기반(rule-based) 스케줄링 시스템은 진단센터 현장에서 많이 사용되는 시스템이다. 공정의 버퍼(queue)에 검체들이 들어오면 먼저 긴급도를 기준으로 내림차순 정렬을 수행한다. 그다음 동일한 긴급도를 가진 검체들이 있는 경우에는 우선순위를 도착 시간이 빠른 순서대로 부여하여 배치를 구성한다. 이는 가장 직관적인 현장 대응 방식이지만 실시간 공정 부하 및 마감 시간을 능동적으로 반영하지 못하는 정적인 한계가 있다.

5.1.2 유전알고리즘 기반 시스템

시스템의 동적 상황을 3가지 이산화된 상태 변수(긴급 검체 존재 여부, 대기열 혼잡 상태, 마감시간 촉박 여부)로 정의하여 3가지 행동(FIFO, UF, EDD) 중 최적의 행동을 결정하기 위한 $8 \times 3$ 크기의 상태-행동 정책 판단 가중치 행렬(총 24개의 유전자)을 하나의 개체(chromosome)로 정의한다. 특히, 하나의 개체를 평가할 때 무작위로 변하는 동적 시나리오를 100번 실행하여 나온 평균 보상을 해당 개체의 적합도(fitness)로 평가하여 과적합을 방지하였다.

<Table 4>는 GA에 적용된 하이퍼 파라미터를 보이고 있다. 메타휴리스틱 최적화를 위해 한 세대(generation)당 1,000개의 개체군(population)을 생성하며, 총 30세대에 걸쳐 진화를 수행함으로써 방대한 시뮬레이션 평가를 거치도록 설계하였다. 우수 개체 선택을 위해 2개 개체 중에 적합도가 더 좋은 개체를 선택하는 토너먼트 선택(tournament selection) 기법을 사용하였고, 개체 간 다양성 확보를 위해 K점 교차(K crossover)와 최고 적합도 개체를 활용한 마스크 균일 교차(best mask uniform crossover)를 절반씩 혼합 적용하였다. 본 연구에서는 $K C$ 를 3으로 설정하였다. 또한 국소 최적해(local optimum)를 회피하고 탐색 공간을 극대화하기 위해 0.7의 높은 확률(mutation rate)로 평균 0, 표준편차 0.5의 가우시안 노이즈(gaussian noise)를 더한 뒤 값의 범위를 [-2.0, 2.0]으로 제한(clipping)하는 돌연변이 연산을 적용하였다.

5.1.3 다중 에이전트 기반 Q-learning

Q-learning은 행동에 따라 환경이 어떻게 변화할지에 대한 정보 없이도 최적의 행동 정책을 학습할 수 있는 모델 프리(model-free) 강화학습의 대표적인 알고리즘이다. 제안하는 DQN 모델 대비 단순화된 이산 상태 공간과 제어 성능을 비교하기 위해 비교 대상으로 구축한 모델이다. 이산 상태 공간은 대기열 긴급 검체 존재 여부, 대기열 혼잡 상태, 마감시간 촉박 여부로 총 8개 상태 공간으로 정의하였다.

에이전트는 주어진 상태 $s_{t}$ 에서 특정 행동 $a_{t}$ 를 취했을 때 미래에 얻을 수 있는 총 기대 보상값을 나타내는 Q-value를 Q-table 형태로 저장하고 지속적으로 갱신한다.

본 연구의 Q-learning 모델은 안정적인 수렴을 위해, 시뮬레이션 도중 발생하는 경험들을 메모리 버퍼(memory buffer, $M_{i}$ )에 임시 저장하였다가 에포크( $N$ 개 시나리오 묶음)가 종료되는 시점에 식 (8)의 벨만 최적 방정식(bellman optimality equation)을 기반으로 Q-table을 일괄 갱신하는 경험 재생 방식을 도입하였다. 구체적인 동작 구조는 <Algorithm 2>와 같다.

Q_{i} (s_{t}, a_{t}) \leftarrow Q_{i} (s_{t}, a_{t}) + α [R_{t} + γ max_{a^{'}} Q_{i} (s_{t + 1}, a^{'}) - Q_{i} (s_{t}, a^{'})]

(8)

여기서 $α$ 는 새롭게 획득한 정보를 기존의 Q-value에 얼마나 반영할지를 결정하는 학습률(learning rate)이며, $γ$ 는 미래 보상의 가치를 현재 가치로 환산하는 할인율(discount factor)이다. 에이전트가 국소 최적해에 빠지는 것을 방지하기 위해 초기에는 무작위로 다양한 행동을 탐험(exploration)하고, 점진적으로 학습된 Q-value를 활용(exploitation)하는 입실론-그리디( $ε - g r e e d y$ ) 정책을 도입하였다.

<Table 5>와 같이 학습률 $α$ 는 0.0001, 미래 보상에 대한 할인율 $γ$ 는 0.99로 설정하여 총 200 에포크 동안 반복 학습을 진행하였다. 경험 재생 방식의 구현을 위해 1개의 에포크 내에서 서로 다른 무작위 패턴을 지닌 시뮬레이션 시나리오를 100번 반복 실행하여 에이전트가 경험한 상태, 행동, 보상 데이터를 누적하였다. 또한 입실론-그리디( $ε - g r e e d y$ ) 정책의 경우 초기 탐험률 $ε$ 를 1.0으로 시작하여 에피소드가 진행됨에 따라 0.95의 비율로 감소( $ε - d e c a y$ )하도록 하여 최소 0.05에 도달하도록 설정하였다.

<Algorithm 2>

Multi-Agent Q-Learning

Initialize Q-table $Q_{i} (s, a) = 0$ for all states $s \in S$ , actions $a \in A$ , and each agent $i \in \{1, \dots, 6\}$
for episode = 1 to Mdo
for scenario = 1 to Ndo
Initialize simulation environment
while simulation is running do
for each agent $i \in \{1, \dots, 6\}$ do
Observe current discrete state $s_{t}$
With probability $ε_{i}$ select a random action $a_{t} \in A$
Otherwise select $a_{t} = {argmax}_{a} Q_{i} (s_{t}, a)$
Execute action $a_{t}$ in the environment and calculate immediate reward $R_{t}$
Observe next state $s_{t + 1}$ and terminal flag done
Store transition $(s_{t}, a_{t}, R_{t}, s_{t + 1}, done)$ in temporary Memory $M_{t}$
end for
end while
end for
for each agent $i \in \{1, \dots, 6\}$ do
for each transition $(s_{t}, a_{t}, R_{t}, s_{t + 1}, done)$ in Memory $M_{t}$ do
ifdone is true then
$Q_{i} (s_{t}, a_{t}) \leftarrow Q_{i} (s_{t}, a_{t}) + α [R_{t} - Q_{i} (s_{t}, a_{t})]$
else
$Q_{i} (s_{t}, a_{t}) \leftarrow Q_{i} (s_{t}, a_{t}) + α [R_{t} + γ \max_{a'} Q_{i} (s_{t + 1}, a') - Q_{i} (s_{t}, a_{t})]$
end if
end for
Clear Memory $M_{t}$
Update exploration rate $ε_{i}$
end for
end for

5.1.4 다중 에이전트 DQN(Multi-Agent DQN)

앞서 4.3절에서 상세히 기술한 바와 같이, 6개 단위공정 전체에 독립적인 심층 신경망 에이전트를 적용하여, 연속적인(continuous) 상태 공간 하에서 비선형적 특징을 학습해 최적 행동의 가치를 추정하는 제안 모델이다.

본 연구에 적용된 신경망은 <Table 6>과 같이 6개의 상태를 입력층(input layer)으로 받아 각각 128개의 노드로 구성된 3개의 은닉층(hidden layer)을 거쳐, 3개의 행동 각각에 대한 예측 Q-Value를 출력하는 구조(6-128-128-128-3)로 설계되었다. 은닉층의 활성화 함수로는 비선형성 확보를 위해 ReLU를 사용하였고, 가중치 최적화를 위해 Adam optimizer(학습률 0.0001)를 도입하였다.

그리고 매 에포크마다 발생한 전이 데이터 $(s_{t}, a_{t}, R_{t}, s_{(t + 1)})$ 를 크기 5,000의 재생 버퍼에 저장한 후 에포크 종료 시점에 128 크기의 버퍼에서 미니배치를 무작위로 추출하여 50회 반복 학습한다. 주 네트워크와 200 스텝 주기마다 가중치가 갱신되는 타겟 네트워크를 별도로 두어 목표 Q-value의 변동성을 통제하였다.

본 하이퍼파라미터는 무작위 탐색(random search)을 통해 결정되었다. 학습률 $α$ 는 다섯 가지 후보(0.01, 0.005, 0.001, 0.0005, 0.0001)를 대상으로 하였으며, 할인율 $γ$ 는 네 가지 후보(0.90, 0.95, 0.99, 0.995)를 대상으로 학습을 5회 반복한 평균 적시처리율과 평균 보상이 최고였던 $α = 0.0001$ 과 $γ = 0.99$ 를 선정하였다. 신경망의 은닉층 구조(128 노드×3층), 재생 버퍼 크기(5,000), 미니배치 크기(128), 타깃 네트워크 갱신 주기(200 스텝)는 사전 학습 실험에서 손실 수렴이 안정적임을 확인한 값으로 설정하였다.

5.2 실험 환경

본 연구의 대상이 되는 분자진단 시스템은 선행 연구[22]를 통해 도출된 최적 설비배치 결과를 반영한다. 분자진단 공정은 다음과 같이 총 6개의 단위공정으로 구성된다.

1) de-capping: 샘플 용기의 뚜껑을 제거하고 초기 준비 작업을 수행하는 전처리 공정
2) extraction: 검체로부터 DNA/RNA를 추출하는 핵산 추출 공정
3) dispenser: 추출된 핵산을 검사용 튜브에 분주
4) PCR setup: PCR 반응을 위한 시약 준비
5) PCR running: 표적 핵산을 증폭
6) analysis: 증폭 결과를 분석

단위공정 집합 $U = 1, 2, 3, 4, 5, 6$ 에 대한 각 공정별 가공시간 $P T_{i}$ 는 de-capping 10분, extraction 40분, dispenser 10분, PCR setup 10분, PCR running 90분, analysis 10분으로 각각 설정되었다.

<Figure 1>에서 보는 바와 같이, 각 공정별 장비 당 최대 처리 가능한 검체 수는 96개로 동일하다. 진단키트의 표준 포장 단위는 8개의 검체가 하나의 단위(unit)로 구성되며, 각 설비는 이 단위를 기준으로 작업을 처리한다. 본 연구에서 배치 사이즈(batch size)는 각 공정에서 한 번에 처리하는 단위의 수를 의미하며, 이를 반영한 공정별 최적 설비 대수 $M C_{i}$ 및 배치 사이즈 $B S_{i}$ 는 <Table 7>과 같이 설정된다.

실제 진단센터의 불확실성을 반영하기 위한 동적 환경 변수는 다음과 같다. 첫째, 가변적 검체 도착률 $λ (t)$ 는 하루 가동 시간(540분) 중 오전 시간대에는 분당 1.0~20.0개의 검체가 포아송 분포에 따라 무작위로 도착하며, 오후에는 도착률이 급감하는 변동성을 부여하였다. 둘째, 전체 검체 중 긴급 검체의 세부 발생 비율은 에피소드마다 3가지 시나리오 구간(10~40%, 40~70%, 70~100%)에 따라 무작위로 결정된다. 셋째, 긴급 검체 등급 $g \in G$ 의 세부 발생 비율은 극긴급(10%), 고긴급(30%), 중간긴급(60%)으로 세분화되며, 각각 등급별로 부여되는 최대 허용 마감시간(분) $Δ_{j}, g$ 는 극긴급 $Δ_{j}, C r i t i c a l \in [180, 240$ ], 고긴급 $Δ_{j}, H i g h \in [210, 360$ ], 중간긴급 $Δ_{j}, M e d i u m \in [240, 480$ ]으로 엄격한 마감시간이 부여된다. 반면 일반 검체는 $Δ_{j}, N o r m a l \in [1440, 2880$ ]분의 상대적으로 여유 있는 마감시간을 가진다.

본 연구에서는 객관적인 성능 비교를 위해서 각 모델이 시간대별 무작위 도착률 및 긴급 검체 비율 변동이 완전히 동일한 동적 시나리오를 경험하도록 난수 시드(random seed)로 통제하였으며 전체 검체 중 긴급 검체의 비율을 10%~40%, 40%~70%, 70~100% 3구간으로 나누어 구간별 100개의 에피소드를 반복 평가하였다.

5.3 실험 결과

긴급 검체 비율의 3개 구간(70~100%, 40~70%, 10~40%) 각각에 대하여 비교 모델들의 시뮬레이션 결과를 정리하면 <Table 8>, <Table 9>, <Table 10>과 같다. ‘Critical Urgent’, ‘High Urgent’, ‘Medium Urgent’ 열은 긴급도 등급별 적시처리율(%)이며, ‘Overall Urgent’ 열은 이들을 모두 포괄한 종합 적시처리율이다. ‘Avg. Waiting Time’은 대기열 평균 대기시간(분)이다. 본 결과는 시간대별 무작위 도착률 및 긴급 검체 비율 변동이 완전히 동일한 100개 동적 시나리오를 난수 시드로 통제하여 얻은 평균값이며, 표기는 평균 ± 1 표준편차이다.

전반적으로 긴급 검체 비율이 높아질수록 시스템 부하가 증가하여 전체 적시처리율이 하락하는 경향을 보였다. 긴급 검체 비율이 10~40% 구간과 40~70% 구간인 경우에는 모든 지표에서 제안된 DQN 모델이 미세한 우위를 보였으나, 그 차이는 매우 미미하다. 반면, 긴급 검체의 비율이 70~100% 구간에 해당하는 경우에는 지표별로 다른 양상을 보였다. <Table 11>은 긴급 검체 비율이 70~100% 구간인 경우에서 DQN과 비교 정책 간 평균 차이의 통계적 유의성 확인을 위한 대응표본 t-검정(paired t-test) 및 Wilcoxon 부호-서열 검정(Wilcoxon signed-rank test) 결과를 보이고 있다. 다만, 모든 조건에서 Rule-based와 GA 모델의 결과가 동일하게 나타남에 따라 본 절에서는 GA 모델에 대한 상세 설명은 생략하며, 이어지는 5.4절에서 이유를 살핀다.

<Table 8>에서 보이는 바와 같이 70~100% 과부하 구간에서 극긴급(Critical Urgent) 검체의 적시처리율은 4개 정책이 모두 72.7%에서 수렴하였다. 이는 적용된 모든 정책이 물리적 설비 제약 안에서 달성 가능한 최고 적시처리율에 도달하였음을 의미한다. 동일 구간에서 DQN과 Rule-based 모델을 비교하면, 고긴급(High Urgent) 검체 적시처리율은 DQN 97.7%(±3.5%) 대 Rule-based 96.3%(±5.1%)로 1.4%p 향상되었고, 평균 대기시간은 DQN 103.7분 대 Rule-based 104.7분으로 1.0분 단축되었다. 두 지표 모두 유의수준 0.05에서 유의한 차이가 확인되었다(고긴급 검체 적시처리율 p=0.034, 평균 대기시간 p=0.044). 중간긴급(Medium Urgent) 검체의 적시처리율은 DQN 67.8%(±17.6%) 대 Rule-based 68.4%(±19.6%)로 0.6%p 차이를 보였으나 표준편차가 평균 차이 대비 크게 나타나 통계적 유의수준에 도달하지 못하였다(p=0.69, d=-0.03). 종합 적시처리율은 DQN 83.9%(±5.8%) 대 Rule-based 83.0%(±6.1%)로 0.9%p 높은 성능을 보였으나 통계적 유의수준에 도달하지 못하였다(p=0.072, d=0.15).

DQN과 Q-learning 모델을 비교하면, 모든 지표에서 통계적인 유의성을 확인할 수 없었다(p>0.07, |d|≤0.18). 특히 Q-learning의 중간긴급 검체 적시처리율은 69.6%로 DQN 67.8% 대비 1.8%p 높았으나, 두 모델의 표준편차가 ±17~18%로 평균 차이 대비 크게 나타나 통계적으로 구분되지 않는다(p=0.42, d=-0.10).

5.4 실험 결과 고찰

실험 결과를 종합하면, 기존의 규칙 기반 시스템은 사전에 정의된 규칙에 따라 움직이기 때문에 병목 현상이 발생하거나 갑자기 많은 긴급 검체가 들어오는 상황에서 능동적으로 대처하기 어려워 가장 낮은 성능을 보여줬다. GA 또한 충분한 탐색 과정을 거쳤음에도 규칙 기반 시스템과 모든 긴급 검체의 적시 처리율이 동일하였다. 본 결과는 검체 도착이 불규칙한 동적 환경에서 사전 학습된 단일 정책으로는 모든 상황에 대응하기 어려움을 보여준다. 특히 GA가 학습한 정책 또한 결국 ‘긴급 검체 우선 처리’라는 현장 규칙과 사실상 동일한 형태로 수렴하였으며, 이는 정적 정책 자체의 구조적 한계를 보여준다.

반면에 다중 에이전트 강화학습 모델들은 실시간으로 변하는 대기열 상황을 계속 관찰하면서 사전에 학습된 가치 함수를 기반으로 최적의 스케줄링 정책을 선택하였다. 특히 본 연구에서 제안하는 DQN은 기존 Q-learning이 이산화된 8개 상태로 한정되어 있던 것이 아닌 연속적인 상태까지 확장함으로써 상태를 보다 더 정밀하게 제어하였다. 이처럼 DQN은 대기열이 여유로울 때에는 선입선출 정책을 적용해 검체의 대기시간을 균일하게 하고 병목이 발생하는 구간에서는 기한이 임박한 검체를 먼저 처리하여 적시처리율을 높였다. 이렇듯 DQN은 각 상황에 적합한 스케줄링 정책을 선택하였다.

반면, 70~100% 과부하 구간의 중간긴급 적시처리율에서 Q-learning(69.6%)이 DQN(67.8%) 대비 1.8%p 높게 나타났으나, 표준편차가 평균 차이 대비 크게 나타나 통계적 유의수준에 도달하지 못하였다(p=0.42, d=-0.10). 이러한 1.8%p 차이는 DQN 보상 함수의 긴급도 가중치(극긴급10, 고긴급5, 중간긴급2) 차등 부여에 따른 의도된 학습 결과로 해석된다. 동일 구간에서 DQN은 고긴급 검체 적시처리율을 Q-learning 97.1% 대비 97.7%로 향상시켰으며, 보상 함수가 부여한 임상 우선순위(고긴급을 중간긴급보다 우선 처리)가 학습에 반영되었음을 보여준다. 기본적으로 70~100% 구간은 모든 검체가 마감시간 압박을 받는 부하 환경에 해당하며, DQN이 더 급한 등급을 우선 처리한 결과는 이러한 환경에 부합한다.

요약하면 DQN의 우수성은 ‘모든 지표의 전반적 향상’이라기보다는 ‘운영상 우선순위가 높은 핵심 지표의 개선’에 있다. 이는 보상 함수의 가중치 설계가 긴급도별 처리 우선순위 분배를 좌우하는 핵심 설계 인자임을 의미하며, 운영 목적에 맞춰 조율함으로써 실시간 스케줄링 성능을 체계적으로 확보할 수 있다.

6. 결 론

본 연구에서는 분자진단 통합자동화 시스템이 실시간으로 변화하는 검사 수요와 갑자기 발생하는 긴급 검체에 신속하고 유연하게 대응하기 위해 다중 에이전트 심층 강화학습 기반의 동적 스케줄링 최적화 방안을 새롭게 제시하였다. 이산사건 시뮬레이션을 활용해 진단센터의 실제 환경을 가상 환경에 구현하였고 객관적인 보상 함수를 설계하여 학습을 진행했다.

제안된 DQN 모델은 전반적으로 비교 대상 모델 대비 안정적으로 우수한 성과를 보였다. 긴급 검체 비율 기준으로 일상 부하에 해당하는 10~40% 및 40~70% 구간에서 제안된 DQN 모델은 전체 긴급 적시처리율과 평균 대기시간 모두 비교 모델 중 최고 평균을 기록하였다. 긴급 검체 비율이 70~100%에 해당하는 과부하 구간에서 또한 고긴급 검체의 적시처리율이 규칙기반 모델 대비 1.4%p 개선되었으며(p=0.034), 평균 대기시간은 1.0분 단축되었다(p=0.044). 다만, 중간긴급 검체의 적시처리율은 DQN 모델이 Q-learning 모델 대비 1.8%p 낮게 확인되었으나, 이는 극긴급 및 고긴급에 가중치를 차등 부여한 보상 함수 설계가 학습에 반영된 결과이다. 극긴급 적시처리율은 4개 모델 모두 72.7%로 통계적 차이가 확인되지 않았다.

연구 결과는 분자진단 자동화 시스템에 적용되어 실제 운영 효율을 높일 것으로 기대된다. 나아가 수요 변동이나 제약 조건이 많은 공장이나 응급실 등 여러 실시간 의사결정이 필요한 현장에도 널리 활용될 수 있을 것으로 생각된다.

향후 연구 과제로는 본 연구의 범위를 확장하여 각 단위공정 내에 배치된 다수의 병렬 설비 중 특정 검체를 어느 설비에 할당할 것인지 실시간으로 결정하는 설비 단위의 디스패칭(dispatching) 최적화 연구를 진행한다. 이를 통해 공정 내 설비별 부하 불균형을 해소하고, 완전한 자동화 분자진단 제어 및 운영 시스템을 완성할 수 있을 것으로 기대된다. 또한 시뮬레이션 모델에 대한 보다 정밀한 유효성 확인을 위해 향후 일별/시간대별 운영 데이터를 추가 수집하여 재평가하고, 일일 처리량 외에 대기시간과 설비 이용률, WIP, 병목 위치 등에 대한 전반적인 추가 검증이 필요하다.

Figure

<Figure 1>.

Integrated Automation System for Precise Molecular Diagnostics[22]

<Figure 2>.

Simulation environment in SimPy

Table

<Table 1>.

Previous Research Papers on the Application of Reinforcement Learning for Scheduling Problems

Author (year)	Application Area	Algorithm	Target problem
Stricker et al.[19]	Semiconductor Manufacturing	RL	Adaptive order dispatching to minimize cycle time and tardiness
Thomas et al.[20]	Distributed Factory Operations	RL	Optimal scheduling and real-time bottleneck detection
Popper et al.[17]	Flexible Job Shop Scheduling	Multi-Agent DRL	Decentralized decision-making framework for FJSP
Gui et al.[7]	Flexible Job Shop Scheduling	Deep RL	Dynamic scheduling to minimize makespan under uncertainty
Zhang et al.[23]	Manufacturing Logistics	GNN + DRL	Dynamic scheduling under insufficient transportation resources
Abualrous et al.[1]	Hospital / Healthcare Scheduling	RL	Fairness-aware dynamic assignment to ICU/Wards under constraints
Liu et al.[12]	Operating Room (OR)	MARL	Real-time sequence scheduling under surgical uncertainties
Silva-Aravena et al.[18]	Healthcare Diagnostics (MRI)	DQN	Dynamic patient waitlist prioritization and utilization optimization

<Table 2>.

Validation the Simulation Model

Category	Throughput
General hospital	1440	1392
Blood testing center	768	792
Emergency room	352	366
Regional hospital	384	372
Small hospital	176	188

<Table 3>.

Reward and Penalty Function Parameters by Urgency Level

Metric	Waiting time reward and penalty (Rwait)	Remaining time reward and penalty (Rdeadline)
Critical (wurgency=10)	twait<15 min	Rwait=30×w	tremaining>60 min	Rdeadline=20
twait<30 min	Rwait=20×w	tremaining>30 min	Rdeadline=30
twait<60 min	Rwait=10×w	tremaining>0 min	Rdeadline=50
twait≥60 min	Rwait=−(twait−60)×2×w	tremaining≤0 min	Rdeadline=−100×w
High Urgent (wurgency=5)	twait<20 min	Rwait=25×w	tremaining>90 min	Rdeadline=10
twait<40 min	Rwait=15×w	tremaining>45 min	Rdeadline=20
twait<60 min	Rwait=8×w	tremaining>0 min	Rdeadline=35
twait≥60 min	Rwait=−(twait−60)×1.5×w	tremaining≤0 min	Rdeadline=−50×w
Medium Urgent (wurgency=2)	twait<30 min	Rwait=10×w	tremaining>120 min	Rdeadline=5
twait<60 min	Rwait=5×w	tremaining>60 min	Rdeadline=10
-	-	tremaining>0 min	Rdeadline=15
twait≥60 min	Rwait=−(twait−60)×0.5×w	tremaining≤0 min	Rdeadline=−20×w

<Table 4>.

Hyper-parameters for Genetic Algorithm

Hyperparameter	Value / Description
Optimization Target	8×3 Policy Matrix (24 Genes)
Population Size	1,000
Number of Generations	30
Selection Method	Tournament Selection (Size 2)
Crossover Method	K Crossover (KC=3) (50%) & Best Mask Uniform (50%)
Mutation Rate & Method	0.7 / Gaussian Noise N(0,0.5), Clipped [−2.0,2.0]
Evaluation Function	Average Reward of 100 Scenarios (Fitness)

<Table 5>.

Hyper-parameters for multi-agent Q-learning Model

Hyperparameter	Multi-Agent Q-Learning
State Space	8-States (Discrete, 2×2×2)
Action Space	3 (Discrete)
Training Structure	200 Epochs (100 Scenarios / Epoch)
Learning Rate (α)	0.0001
Discount Factor (γ)	0.99
Exploration Rate (ε) Decay	1.0→0.05 (Decay: 0.95)

<Table 6>.

Hyperparameter Settings for Multi-agent DQN Models

Hyperparameter	Multi-Agent DQN
State Space	6-Dimensional (Continuous Vector)
Action Space	3 (Discrete)
Training Structure	200 Epochs (100 Scenarios / Epoch)
Learning Rate (α)	0.0001
Discount Factor (γ)	0.99
Exploration Rate (ε) Decay	1.0→0.01 (Decay: 0.9995)
Network Architecture	6-128-128-128-3 (3 Hidden Layers)
Activation Function / Optimizer	ReLU / Adam
Memory / Batch Size	Replay Buffer (5,000) / 128
Target Update Freq.	Every 200 Steps

<Table 7>.

Process Parameters for the Integrated Molecular Diagnostics System

Parameter	Step1. decapping	Step2. extraction	Step3. dispenser	Step4. PCR setup	Step5. PCR running	Step6. analysis
Batch size	6	6	12	12	12	12
Machines	1	2	2	3	4	1

<Table 8>.

Performance Comparison at 70~100% Urgency Ratio (mean ± 1 SD over 100 random scenarios)

Scheduling System	On-time Rate	Avg. Waiting Time (min)
Rule-based (%)	72.7 ±4.3	96.3 ±5.1	68.4 ±19.6	83.0 ±6.1	104.7 ±74.4
Genetic Algorithm (GA) (%)	72.7 ±4.3	96.3 ±5.1	68.4 ±19.6	83.0 ±6.1	104.7 ±74.4
Multi-Agent Q-Learning (%)	72.7 ±4.3	97.1 ±4.7	69.6 ±17.3	84.1 ±5.7	104.6 ±74.5
Multi-Agent DQN (%)	72.7 ±4.3	97.7 ±3.5	67.8 ±17.6	83.9 ±5.8	103.7 ±73.9

<Table 9>.

Performance Comparison at 40~70% Urgency Ratio (mean ± 1 SD over 100 random scenarios)

Scheduling System	On-time Rate	Avg. Waiting Time (min)
Rule-based (%)	72.3 ±5.3	99.5 ±0.6	84.8 ±14.3	89.6 ±6.3	105.3 ±74.6
Genetic Algorithm (GA) (%)	72.3 ±5.3	99.5 ±0.6	84.8 ±14.3	89.6 ±6.3	105.3 ±74.6
Multi-Agent Q-Learning (%)	72.3 ±5.3	99.4 ±0.7	85.3 ±13.7	89.8 ±6.3	105.1 ±74.6
Multi-Agent DQN (%)	72.3 ±5.4	99.5 ±0.6	86.4 ±15.7	90.5 ±7.1	104.4 ±74.1

<Table 10>.

Performance Comparison at 10~40% Urgency Ratio (mean ± 1 SD over 100 random scenarios)

Scheduling System	On-time Rate	Avg. Waiting Time (min)
Rule-based (%)	72.6 ±8.5	99.4 ±0.6	99.8 ±1.1	96.9 ±1.3	105.3 ±74.6
Genetic Algorithm (GA) (%)	72.6 ±8.5	99.4 ±0.6	99.8 ±1.1	96.9 ±1.3	105.3 ±74.6
Multi-Agent Q-Learning (%)	72.6 ±8.5	99.4 ±0.6	99.8 ±1.1	96.9 ±1.3	105.1 ±74.6
Multi-Agent DQN (%)	72.6 ±8.5	99.4 ±0.6	99.9 ±0.6	97.0 ±1.1	104.7 ±74.6

<Table 11>.

Statistical Significance Test Results for Key Indicator Pairs (urgency 70-100%)

p< < 0.05. Each test was conducted on paired results from 100 scenarios per regime. Cohen's d for on-time rate indicators was computed as the pooled-SD effect size, while Cohen's d for the average waiting time was computed from the paired t-statistic (dz) because the between-scenario variance dominates the paired difference variance.>

Pair	Indicator	paired t (p)	Wilcoxon (p)	Cohen's d
DQN vs Rule-based	Critical Urgent On-time	0.47	0.51	0.00 (negligible)
High Urgent On-time	0.034*	0.029*	0.32 (small)
Medium Urgent On-time	0.69	0.72	-0.03 (negligible)
Overall Urgent On-time	0.072	0.081	0.15 (negligible)
Avg. Waiting Time	0.044*	0.041*	-0.20 (small)
DQN vs Q-learning	Critical Urgent On-time	0.47	0.51	0.00 (negligible)
High Urgent On-time	0.21	0.18	0.14 (negligible)
Medium Urgent On-time	0.42	0.39	-0.10 (negligible)
Overall Urgent On-time	0.62	0.58	-0.03 (negligible)
Avg. Waiting Time	0.072	0.078	-0.18 (negligible)

Reference

Abualrous, R., Zouzou, H., Zgheib, R., Hasan, A., Hijazi, B., and Kermani, A., Fairness-Aware Intelligent Reinforcement (FAIR): An AI-Powered Hospital Scheduling Framework, Information, 2025, Vol. 16, No. 12, Article 1039.
Agostino, B., Francesco, L., Letizia, N., Eleonora, B., and Roberto, M., Simulation, Analysis and Optimization of Container Terminals Processes, Simulation, and Scientific Computing, 2012, Vol. 3, No. 4, pp. 1-20.
Caro, J.J. and Moller, J., Advantages and Disadvantages of Discrete-Event Simulation for Health Economic Analyses, Expert Review of Pharmacoeconomics & Outcomes Research, 2016, Vol. 16, No. 3, pp. 327-329.
Farhan, M.M., Gohre, B.E., and Edward, J.P., Reinforcement Learning in Anylogic Simulation Models: A Guiding Example Using Pathmind, Proceedings of the 2020 Winter Simulation Conference, 2020, Online, pp. 3212-3223.
George, S.F., Discrete-event simulation: modeling, programming and analysis, Springer Science & Business Media, Springer, 2013, pp. 3-10.
Greasley, A.D., Implementing Reinforcement Learning in Simio Discrete-Event Simulation Software, Proceedings of the 2020 Summer Simulation Conference, 2020, Online, No. 27, pp. 1-11.
Gui, Y., Tang, D., Zhu, H., Zhang, Y., and Zhang, Z., Dynamic scheduling for flexible job shop using a deep reinforcement learning approach, Computers & Industrial Engineering, 2023, Vol. 180.
Healthcare bigdata hub, https://opendata.hira.or.kr.
Jang, I.G., Kim, D.H., and Son, Y.S., An Agent-Based Simulation Modeling with Deep Reinforcement Learning for Smart Traffic Signal Control, Proceedings of Information and Communication Technology Convergence (ICTC), 2018, Jeju, Korea, pp. 1028-1030.
Koo, J.W., Kwon, O.W., Kim, G.M., and Lee, D.K., Automated Devices for Point-of-care Immunoassay and Molecular Diagnostic, Proceedings of the Korean Society for Precision Engineering, 2018, Jeju, Korea, pp. 282-282.
Liu, C., Chen, K., Wang, H., Yang, B., and Leng, J., Job shop scheduling by Deep Dual-Q Network with Prioritized Experience Replay for resilient production control in flexible manufacturing system, Computers & Operations Research, 2025, Vol. 183.
Liu, K., Chen, Y., Borndörfer, R., and Koch, T., Multi-Agent Reinforcement Learning for Intraday Operating Rooms Scheduling under Uncertainty, arXiv preprint arXiv:2512.04918, 2025.
Menda, K., Chen, Y.C., Justin, G.N., James, W.B., Brendan, D.T., Mykel, J.K., and David, W.P., Deep Reinforcement Learning for Event-Driven Multi-Agent Decision Processes, IEEE Transactions on Intelligent Transportation Systems, 2018, Vol. 20, No. 4, pp. 1259-1268.
Nam, S.H., Yun, H.C., and Woo, J.H., Research for Discrete-event Simulation Framework based on Open-source, Proceedings of the Korean Operations and Management Science Society Conference, 2022, Jeju, Korea, pp. 2581-2588.
Oh, S.H., Cho, S.H., Nam, S.H., Cho, K.Y., Yun, H.C., and Woo, J.H., A Study on the Simulation Framework for the Application of Reinforcement Learning to Production Scheduling, Proceedings of the Korean Operations and Management Science Society Conference, 2022, Jeju, Korea, pp. 2541-2547.
Pinciroli, L.C., Baraldi, P.R., Compare, M.C., Esmaeilzadeh, S.H., Farhan, M.M., Gohre, B.T., Grugni, S.H., Manca, L.G., and Zio, E.C., Agent-based Modeling and Reinforcement Learning for Optimizing Energy Systems Operation and Maintenance: The Pathmind Solution, Proceedings of the 29th European Safety and Reliability Conference (ESREL), 2019, Hannover, Germany, pp. 1476-1480.
Popper, J. and Ruskowski, M., Using Multi-Agent Deep Reinforcement Learning For Flexible Job Shop Scheduling Problems, Procedia CIRP, 2022, Vol. 112, pp. 63-67.
Silva-Aravena, F., Morales, J., Jayabalan, M., and Sáez, P., Optimizing MRI Scheduling in High-Complexity Hospitals: A Digital Twin and Reinforcement Learning Approach, Bioengineering, 2025, Vol. 12, No. 6, Article 626.
Stricker, N.C., Andreas, K.H., Roland, S.R., and Simon, F.E., Reinforcement Learning for Adaptive Order Dispatching in the Semiconductor Industry, CIRP Annals - Manufacturing Technology, 2018, Vol. 67, No. 1, pp. 511-514.
Thomas, T.E., Koo, J.K., Somali, C., and Saurabh, B., MINERVA: A Reinforcement Learning-based Technique for Optimal Scheduling and Bottleneck Detection in Distributed Factory Operations, Proceedings of the 2018 10th international conference on communication systems & networks (COMSNETS), 2018, Bengaluru, India, pp. 129-136.
Woo, J.H. and Oh, D., Development of Simulation Framework for Shipbuilding, International Journal of Computer Integrated Manufacturing, 2018, Vol. 31, No. 2, pp. 210-227.
Yang, H.M. and Shin, M., Genetic Algorithm-based Layout Optimization of Process Equipment for an Integrated Molecular Diagnostics Automation System, Journal of Korean Society of Industrial and Systems Engineering, 2025, Vol. 48, No. 1, pp. 38-47.
Zhang, M., Wang, L., Qiu, F., and Liu, X., Dynamic scheduling for flexible job shop with insufficient transportation resources via graph neural network and deep reinforcement learning, Computers & Industrial Engineering, 2023, Vol. 186.
Zhao, M., Li, X., Gao, L., Wang, L., and Xiao, M., An improved Q-learning based rescheduling method for flexible job-shops with machine failures, 2019 IEEE 4th International Conference on Cloud Computing and Big Data Analysis (ICCCBDA), 2019, pp. 535-539.

Category	Throughput
Category	Gantt chart	Simulation
General hospital	1440	1392
Blood testing center	768	792
Emergency room	352	366
Regional hospital	384	372
Small hospital	176	188

Scheduling System	On-time Rate				Avg. Waiting Time (min)
Scheduling System	Critical Urgent	High Urgent	Medium Urgent	Overall Urgent	Avg. Waiting Time (min)
Rule-based (%)	72.7 ±4.3	96.3 ±5.1	68.4 ±19.6	83.0 ±6.1	104.7 ±74.4
Genetic Algorithm (GA) (%)	72.7 ±4.3	96.3 ±5.1	68.4 ±19.6	83.0 ±6.1	104.7 ±74.4
Multi-Agent Q-Learning (%)	72.7 ±4.3	97.1 ±4.7	69.6 ±17.3	84.1 ±5.7	104.6 ±74.5
Multi-Agent DQN (%)	72.7 ±4.3	97.7 ±3.5	67.8 ±17.6	83.9 ±5.8	103.7 ±73.9