1. 서 론

기후변화에 따른 북극 해빙 감소로 북극항로가 대안 물류 경로로 부상하고 있다. 북극항로는 유럽-동아시아 구간에서 수에즈 운하 경유 기존 항로 대비 운송 거리를 약 40% 단축하여, 운항 시간과 연료비 절감을 통한 물류․경제적 잠재력이 크다[9].

그러나 북극항로 운항 계획에는 두 가지 핵심 과제가 존재한다. 첫째는 동적 해빙 환경이다. 해빙의 농도와 분포가 시점에 따라 지속적으로 변동하므로, 동일한 위치라도 선박의 도착 시점에 따라 통항 가능성과 위험도가 달라진다[4]. 따라서 위치만 고려하는 정적 계획으로는 한계가 있고, 위치와 시점을 함께 고려하는 시공간 항로 계획이 요구된다. 둘째는 시간과 비용의 상충관계이다. 쇄빙선 지원은 위험 구역을 통과해 운항 시간을 단축하지만 높은 이용료가 발생하고, 안전 구역으로 우회하면 비용은 줄지만 시간이 늘며, 운항 속도 또한 연료 소모량을 통해 둘 모두에 영향을 미친다[12].

앞의 두 과제를 모두 해결하는 시공간 다목적 경로 계획기를 갖추더라도, 실제 운항 계획은 한 번의 계산으로 끝나는 단일 경로 문제가 아니다. 빙황 예보는 불확실하여 수시로 갱신되고, 출발 시점과 시간․비용 선호 또한 상황에 따라 달라지므로, 견고하고 상호작용적인 계획은 다수의 예보 시나리오와 출발 시점, 가중치 조합에 대해 경로를 반복 평가해야 한다. 매 조건마다 전체 해를 다시 탐색하는 그래프 탐색이나 메타휴리스틱은 이러한 반복 질의 환경에서 계산 병목이 된다. 이는 탐색 비용을 사전 학습으로 분할상환(amortize)하여, 경로별 최적성의 제한적 손실을 감수하는 대신 다수의 질의에 빠르게 응답하는 접근을 요구한다.

이에 본 연구는 시간과 비용을 동시에 최적화하는 시공간 항로 계획을 위해, 위치-시점 결합 상태에서 동작하는 ST-A*(Space-Time A*)[11]로 시간․비용 가중치별 데모 경로를 생성하고, 이를 DQfD(Deep Q-Learning from Demonstrations)[5]로 학습하는 강화학습 프레임워크를 제안한다. ST-A*는 정확하지만 매 조건마다 전체 탐색을 반복하는 반면, 그 해를 데모로 학습한 정책은 새로운 빙황 조건에 대해 재탐색 없이 추론만으로 경로를 산출하여 반복 질의 요구에 대응한다.

주요 기여는 다음과 같다. 첫째, ST-A*가 생성한 데모 경로를 DQfD 학습에 활용하여, 새로운 빙황 조건에 대해 전체 시공간 재탐색 없이 추론만으로 항로를 산출하는 가중치별 정책 학습 프레임워크를 제안하였다. 둘째, 미관측 연도에 대한 검증을 통해, 학습된 정책이 상한 기준인 ST-A* 대비 평균 목적함수 값이 약 1.57배 높은 수준에서 약 700배 빠른 추론으로 경로를 산출함을 확인하였다. 셋째, 데모 학습을 제외한 동일 구조의 강화학습 baseline과의 비교를 통해, 데모 활용이 더 낮은 목적함수 값과 더 높은 도착 성공률로 이어짐을 확인하였다.

본 논문의 구성은 다음과 같다. 제2장에서는 북극항로 경로 계획에 관한 선행 연구를 분석하고 본 연구의 차별점을 제시한다. 제3장에서는 제안 프레임워크의 전체 구조와 함께 해빙 위험도 평가, 비용 모델, ST-A* 데모 생성 및 DQfD 정책 학습 방법을 설명한다. 제4장과 제5장에서는 각각 실험 설계와 실험 결과를 제시하며, 제6장에서는 실험 결과가 갖는 함의를 논의하고, 제7장에서 결론 및 향후 연구 방향을 논의한다.

2. 문헌 연구

북극항로 경로 계획 연구는 접근 방식에 따라 최적화 기반 접근과 정책 학습 기반 접근으로 나눌 수 있다. 최적화 기반 접근은 주어진 빙황 정보에 대해 매번 탐색을 수행하여 최적 또는 근사 최적 경로를 산출하고, 정책 학습 기반 접근은 강화학습으로 정책을 사전에 학습한 뒤 추론 단계에서 경로를 산출한다.

최적화 기반 접근에는 그래프 탐색과 메타휴리스틱 기법이 포함된다. Topaj et al.[12]은 Dijkstra 및 A* 탐색을 기반으로 쇄빙선 지원을 고려한 최적 경로를 산출하였고, Lee et al.[6]은 POLARIS(Polar Operational Limit Assessment Risk Indexing System) 기반 위험도 평가를 A*에 결합하고 유전 알고리즘으로 경로를 최적화하였으며, Zhang et al.[16]은 시변 해빙 정보를 반영한 3차원 개미 군집 알고리즘으로 시간과 위험도를 함께 고려하는 다목적 경로를 탐색하였다. 이러한 접근은 동적 해빙을 다루는 경우에도 주어진 환경 조건마다 경로를 처음부터 다시 탐색해야 한다는 공통된 계산 구조를 지닌다.

정책 학습 기반 접근은 사전에 학습한 정책을 통해 추론 단계에서 경로를 산출할 수 있어 이러한 재탐색 부담을 완화한다. Wu et al.[15]은 DQN(Deep Q-Network) 기반 경로 계획 시스템을 제안하여 학습된 정책으로 경로를 산출할 수 있음을 보였고, Li et al.[7]은 DQN을 활용하여 경제성과 탄소 배출을 동시에 고려하는 이중 목적 경로 계획을 수행하였다. 다만 두 연구 모두 선박이 각 위치에 실제 도착하는 시점의 해빙 위험도를 상태로 반영하는 데에는 한계가 있다.

또한 이러한 정책 학습 기반 접근에서 순수 강화학습은 넓은 상태․행동 공간과 희소한 보상 환경에서 무작위 탐험만으로 목표에 도달하기 어렵고, 학습 효율이 저하될 수 있다는 한계가 있다. 이를 완화하기 위해 그래프 탐색이나 메타휴리스틱과 같은 탐색 기반 알고리즘의 경로 정보를 강화학습에 활용하는 연구가 제안되고 있다. Chen et al.[2]은 선박 경로 계획에서 A*의 전역 경로 탐색 능력을 DDQN(Double Deep Q-Network)에 결합한 A-DDQN을 제안하였다. 이 방법은 에이전트가 학습 중 새로운 행동을 시도하는 탐험 과정에서 무작위로 행동을 고르는 대신 A*가 제시하는 행동을 참고하도록 하여, 불필요한 항로 이탈을 줄이고 기존 DDQN 대비 향상된 경로 품질을 보였다. 이는 탐색 기반 경로 정보가 강화학습의 탐험 부담을 완화하고 학습을 효과적으로 보조할 수 있음을 보여준다.

본 연구는 이러한 연구 흐름을 바탕으로, 탐색 기반 경로 정보를 강화학습에 활용하는 방법으로 DQfD를 적용한다. DQfD는 전문가가 수행한 행동 사례를 먼저 학습에 활용한 뒤, 환경과의 상호작용을 통해 정책을 보완함으로써 강화학습의 초기 성능과 학습 효율을 개선하는 기법이다. 본 연구에서는 전문가의 시연 대신 위치와 시점을 결합한 ST-A*로 동적 해빙 환경에서 시간․비용 가중치별 경로를 생성하고, 이를 학습에 활용한다. 이를 통해 동적 해빙 환경을 반영한 시간․비용 다목적 정책을 학습하고, 추론 단계에서는 재탐색 없이 경로를 산출하는 프레임워크를 제안한다.

3. 제안 방법

본 장에서는 제안하는 강화학습 프레임워크를 설명한다. 먼저 POLARIS 기반으로 격자별 해빙 위험도(RIO)를 산출하여 시공간 운항 환경을 구성하고, 시간․비용을 결합한 목적함수와 비용 모델을 정의한다. 이 환경에서 ST-A*로 위치와 시점을 결합한 상태 공간을 탐색하여 가중치별 데모 경로를 생성하고, 생성된 데모를 DQfD 학습에 활용하여 가중치별 운항 정책을 학습한다. 학습된 정책은 새로운 평가 시나리오에 대해 경로 재탐색 없이 추론만으로 항로를 산출한다.

3.1 POLARIS 기반 해빙 위험도 평가

해빙 위험도는 IMO(International Maritime Organization)의 Polar Code에 포함된 POLARIS를 기반으로 평가한다. POLARIS는 선박의 쇄빙 등급과 해당 해역의 빙종 농도에 따라 운항 위험도를 정량적으로 산정하는 평가 체계이다.

본 연구에서는 이를 적용하여 격자별 위험도 지수 RIO(Risk Index Outcome)를 산출한다. RIO는 (1)과 같이 빙종 k의 농도 C k ( 0 ~ 10 )와 쇄빙 등급별로 정의되는 위험 가중치 RIV k(Risk Index Value)의 곱의 합으로 정의된다. 여기서 K는 격자에 존재하는 빙종의 수, k는 빙종 인덱스이다. RIV k는 대상 선박 M.V. Yong Sheng의 쇄빙 등급 IA를 기준으로 적용하였다.

해빙 데이터는 NSIDC(National Snow and Ice Data Center)가 제공하는 U.S. National Ice Center Arctic Sea Ice Charts in SIGRID(Sea Ice Grid)-3 Format(G10013)[13]을 사용하였다. 이는 빙종별 부분 농도와 발달 단계를 포함하는 폴리곤 벡터 자료로, POLARIS 산식에 필요한 정보를 제공한다. <Figure 1>과 같이 해당 자료를 NSIDC 북반구 polar stereographic 격자 규격[1]에 따라 25km 격자(448×304)로 변환한 후 각 격자에 POLARIS 산식을 적용하여 주단위 RIO를 산출하고, 인접 관측 시점을 선형 보간하여 2014~2025년 일단위 RIO 데이터를 구성하였다. 산출된 RIO 값에 따라 각 격자를 안전(RIO≥0), 경고(−10≤RIO<0), 위험(RIO<−10) 구역으로 구분한다. 대상 시기는 8월로 선정하였다. 8월은 북극 해빙이 감소하여 운항 가능성이 높아지는 시기이며[4], 안전․경고․위험 구역이 혼재해 우회와 쇄빙선 이용 사이의 시간․비용 상충관계를 분석하기에 적합하다.

3.2 목적함수 및 제약조건

운항 정책의 목적함수는 단위가 서로 다른 시간과 비용을 각각 기준값으로 정규화한 뒤 가중합으로 결합하여 (2)와 같이 정의한다.

여기서 w ∈ [ 0 , 1 ]은 시간․비용 가중치, T는 총 운항 시간, C는 총 운항 비용이며, T ref와 C ref는 각각 시간과 비용의 정규화 기준값이다. C는 연료비와 쇄빙선 이용료로 구성되며, 구체적인 계산식은 3.3절에서 설명한다.

정규화 기준값은 평가 연도가 포함되지 않도록, 학습 연도(2014~2022년)의 8월 15일 출발 시나리오만을 사용하여 산출하였다. 기준값 산출을 위한 두 극단 시나리오로서 시간만 최소화한 ST-A* 해(w = 1)와 비용만 최소화한 ST-A* 해(w = 0)를 구한다. (3)에서 T time과 C time은 각각 시간 최소화 해(w = 1)에 대해 학습 시나리오 전체를 평균한 운항 시간과 비용이고, T cost와 C cost는 각각 비용 최소화 해(w = 0)에 대해 평균한 운항 시간과 비용이다. 기준값 T ref와 C ref는 (3)과 같이 두 극단 해의 평균으로 설정한다.

산출된 기준값은 T ref ≈ 414 h, C ref ≈ $ 220 K이며, 모든 평가 시나리오와 비교 방법에 동일하게 적용하는 단일 정규화 기준이다.

제약조건은 다음과 같다. 첫째, 위험 구역(RIO<−10)으로의 진입을 금지한다. 둘째, 경고 구역(−10≤RIO<0)은 본 연구에서 쇄빙선 지원을 받는 경우에만 통항하도록 설정한다. 셋째, 쇄빙선 이용은 러시아 Atomflot이 운영하는 NSR(Northern Sea Route) 통항료 구역 내로 제한된다.

본 연구는 북극항로 중 북동항로를 대상으로 하며, 이 중 쇄빙선 이용료는 Atomflot의 NSR tariff 체계[3]로 산정한다. 이 체계가 적용되지 않는 북서항로는 탐색 영역에서 제외하였다.

3.3 비용 모델

본 연구의 총 운항 비용 C는 연료비 C fuel과 쇄빙선 이용료 C tariff의 합으로 구성된다. 대상 선박은 실제 북동항로 운항 이력이 있는 M.V. Yong Sheng(총톤수 14,357GT, 최대 속도 14.5knots, 쇄빙 등급 IA)으로, 연료 소모량 및 쇄빙선 이용료 산정에 이 선박의 제원을 적용하였다. 시간당 연료 소모량 fuel rate는 속도의 세제곱에 비례하는 Cubic Speed Law로 근사하며, (4)와 같이 정의된다.

여기서 v는 운항 속도(knots), 1.465는 대상 선박 주기관 출력과 연료 소비율(SFOC)로부터 환산한 최대 속도 14.5knots에서의 시간당 연료 소모량(MT/h)이다.

여기서 N은 경로를 구성하는 전체 step의 수, i는 step 인덱스, v i는 step i의 운항 속도, Δt i는 step i의 운항 시간(h), P fuel은 연료 단가이다. 연료는 IMO 2020 규제에 적합한 VLSFO(Very Low Sulfur Fuel Oil)로 설정하고, P fuel은 2025년 글로벌 연평균인 535 $/MT[10]를 적용하였다.

쇄빙선 이용료는 러시아 연방관세청 고시[3]에 따른 Atomflot의 NSR tariff 체계로 산정하였다. 이 요율은 선박의 총톤수, 쇄빙 등급, 운항 시즌, 통과 구역 수에 따라 결정되며, 본 연구는 대상 선박 제원과 운항 시즌(summer–autumn)을 적용하였다. <Figure 2>와 같이 NSR은 7개 구역으로 구분되며, 이용료는 운항 시간이 아니라 경로가 통과한 구역 수에 따라 부과된다(1개 구역 $68,338 ~ 7개 구역 $136,678).

3.4 강화학습 환경 및 리워드 설계

앞 절에서 정의한 목적함수 J는 완성된 경로의 시간․비용 품질을 평가하는 기준이다. 강화학습에서는 경로 전체를 한 번에 선택하는 대신, 각 시점의 상태에서 행동을 순차적으로 선택하는 정책 π를 학습하며, 이 행동들의 누적 결과가 하나의 경로를 형성한다. 따라서 본 연구는 목적함수 J를 직접 최소화하는 경로 탐색 문제를, J의 시간․비용 요소를 보상 설계에 반영한 정책 학습 문제로 재구성한다. 이때 실제 보상은 희소한 도착 보상을 보완하기 위해 진행 보상과 종료 보상을 포함하는 shaped proxy로 구성된다.

강화학습 상태 s는 스칼라 특징 벡터 x ∈ ℝ 13와 에이전트 중심 RIO 패치 행렬 P ∈ ℝ 21×21로 정의되며, s = ( x , P )이고 전체 입력 차원은 454(13 + 21×21)이다. 스칼라 특징은 현재․목표 상대 위치, 연중 시점, 누적 운항 시간, 현재 셀의 RIO, 목표까지의 최단 항해시간, 쇄빙선 이용 여부, 속도 단계, 직전 이동 방향으로 구성되며 모두 정규화하였다. 이 중 최단 항해시간은 당일 빙황과 북동항로 운항 회랑을 반영해 Dijkstra로 산출한 값으로, 정답 경로가 아니라 목표 방향에 대한 보조 정보로서 희소 보상 학습을 안정화한다. 21×21 패치는 한 변 약 500km로, 국소 빙황 표현 범위와 계산 복잡도를 고려해 설정하였다.

행동 공간 A는 8방향 이동과 5단계 속도의 조합으로 정의되며, | A | = 40이다. 이동 방향은 격자 기반 경로 계획에서 상하좌우 및 대각 이동을 포함하는 8방향으로 설정하였다. 속도 후보는 대상 선박의 평균 운항속도 11.3knots와 최대 속도 14.5 knots를 기준으로 설정하였다. 구체적으로, 평균 운항속도와 최대 속도의 차이인 3.2knots를 평균 운항속도 아래에도 동일하게 적용하여 8.1knots를 하한으로 두고, 8.1~14.5knots 범위를 동일 간격으로 이산화하여 5단계 속도 후보(8.1, 9.7, 11.3, 12.9, 14.5)를 구성하였다. 본 연구의 속도 이산화는 기상 조건이나 해빙 상태별 감속 규칙을 직접 모델링한 것이 아니라, 연속적인 운항 속도 선택을 이산 행동공간에서 근사하기 위한 설계이다. 운항 시간은 속도에 반비례하는 반면 연료비는 속도 증가에 따라 비선형적으로 증가하고, 시나리오별 빙황과 통항료 구역 통과 여부에 따라 시간․비용 상충관계에 유리한 속도도 달라질 수 있다. 따라서 상충관계의 속도를 하나의 중간값으로 고정하기보다는, 최저․최고 속도와 함께 복수의 중간 속도 후보를 제공하여 정책이 시나리오별 상황에 따라 속도를 선택할 수 있도록 하였다. 한 step은 선택한 행동에 따른 이동으로, 누적 운항 시간이 24시간을 넘을 때마다 다음 날 RIO 맵으로 갱신된다. 상태 전이는 결정적이고 할인율은 0.995이며, 종료 조건은 도착, 시간 초과(30일), 2,000 step간 목표 거리 미감소(맴돌기)이다.

보상 함수는 목적함수 J에 대한 shaped proxy로, 희소한 도착 보상만으로는 학습이 불안정하므로 J 기반 스텝 페널티에 진행 보상과 재방문 페널티를 더하였다. 전체 보상은 스텝 페널티, 진행 보상, 재방문 페널티, 종료 보상의 합이며, 각 항은 <Table 1>과 같다.

단, 쇄빙선 이용료를 진입 시 전액 부과하면 쇄빙선 회피가 나타나, 진입 시(0.1)와 도착 시(0.9)로 분리하였다. 평가 시 J는 전체 이용료로 계산하므로 이 분리는 지표에 영향을 주지 않는다.

3.5 Space-Time A* 기반 데모 경로 생성

ST-A*는 시공간 탐색 개념[11]에 기반하여, 위치와 시점을 결합한 상태 s = ( r , c , t )의 공간에서 동작하도록 본 연구에서 구성한 탐색 절차이다. 여기서 r과 c는 각각 격자의 행과 열 인덱스이며, t는 해당 위치에 도착한 시점으로서 일 단위 RIO 맵을 참조하기 위한 날짜 인덱스를 의미한다. 각 상태 s는 누적 비용 g ( s )와 목표까지의 추정 비용 h ( s )의 합을 기준으로 확장된다.

(6)의 g ( s )는 시작 상태부터 현재 상태 s까지 경로 상 각 step의 단위 비용 J i를 누적한 값이다. 여기서 i는 경로 상 step의 순번(0부터 n s − 1)이고, n s는 현재 상태까지의 총 step 수이다. 단위 비용 J i는 (2)의 목적함수와 동일한 형태로 정의되며, w는 시간․비용 가중치, ΔT i와 ΔC i는 각각 step i에서 발생하는 운항 시간과 비용의 증분, T ref와 C ref는 (2)와 동일한 시간․비용 정규화 기준값이다. 이때 ΔC i는 step i의 연료비와 새로운 통항료 구역에 최초 진입할 때 발생하는 쇄빙선 추가 이용료로 구성되며, 통과한 통항료 구역 집합을 탐색 상태에 기록하여 중복 부과를 방지한다. 이에 따라 step 비용의 누적합은 최종 경로의 목적함수 값과 일치한다. (7)의 h ( s )는 현재 상태 s에서 목표 상태 s g까지의 추정 비용으로, 두 상태 간 octile 거리에 단위 step 최소 비용 J min step을 곱하여 정의한다. 여기서 s g는 목표 지점에 도달한 상태이고, octile 거리는 장애물을 무시한 최소 이동 횟수이며, J min step은 통항료 추가 이용료를 제외한 step당 최소 비용이다.

한 step의 비용은 항상 J min step 이상이므로, h ( s )는 실제 남은 비용을 초과하지 않는 허용적(admissible) 휴리스틱이며, 따라서 주어진 이산 상태․행동 공간 내에서 A*의 최적성 조건을 만족한다.

가중치 w ∈ { 0.9 , 0.5 , 0.1 }에 대해 각각 탐색을 수행하여 시간 우선, 균형, 비용 우선의 3종 데모 경로를 생성한다. 각 가중치 w에서 생성된 데모 경로는 DQfD 학습에 사용하기 위해 상태-행동 쌍의 시퀀스 τ w = { ( s 0 , a 0 ) , ( s 1 , a 1 ) , … , ( s {N−1} , a {N−1} ) }로 표현한다. 여기서 s i는 i번째 step의 상태, a i는 그 상태에서 다음 상태로 이동하기 위해 선택된 행동, N은 경로의 총 step 수이며, 마지막 행동 a {N−1}을 수행한 후 도달하는 최종 상태 s N은 목표 상태 s g이다.

3.6 DQfD 기반 정책 학습

ST-A*가 생성한 데모 경로 τ w를 활용하여 DQfD로 가중치별 정책을 학습한다. 즉 ST-A*는 목적함수 J를 기준으로 도착 가능한 상태-행동 사례를 생성하고, DQfD는 이를 활용하여 행동가치함수 Q ( s , a )를 학습한다. <Figure 3>은 이러한 데모 경로의 입력부터 DQfD 학습과 미관측 환경에서의 추론으로 이어지는 과정을 나타낸다. 학습은 두 단계로 이루어지며, <Figure 3>의 학습 파이프라인에 나타낸 바와 같이 사전학습 단계에서는 데모만으로 신경망을 학습하고, 이후 온라인 학습 단계에서는 환경 경험과 데모를 함께 사용하여 정책을 개선한다.

정책 신경망은 Dueling Q-Network[14] 구조를 사용하며, 그 구조는 <Figure 3>의 Dueling Q-Network 부분에 도식화하였다. 454차원 상태는 두 갈래로 인코딩된다. 13차원 스칼라 특징 x는 완전연결 계층(FC)을 거치고, 21×21 RIO 패치 P는 합성곱 계층(CNN)으로 공간적 특징을 추출한다. 두 갈래의 출력을 결합(fusion)한 뒤 다시 완전연결 계층을 통과시키며, 이후 Dueling 구조에 따라 (8)과 같이 상태 가치와 행동 이점을 분리하여 각 행동의 Q값을 산출한다. 여기서 Q ( s , a )는 상태 s에서 행동 a를 선택할 때의 행동가치, V ( s )는 상태 s 자체의 가치인 상태 가치, A ( s , a )는 상태 s에서 행동 a가 갖는 상대적 이점인 행동 이점이다. A는 행동 집합, | A |는 그 크기(40)이며, a ′ ∈ A는 평균 계산에 사용되는 행동 집합 내의 각 행동을 의미한다. 행동 이점에서 그 평균을 빼는 것은 상태 가치 V ( s )와 행동 이점 A ( s , a )를 유일하게 식별하기 위함이다. 스칼라 특징과 패치를 분리하여 인코딩하는 것은 위치․속도 등 저차원 운항 정보와 주변 빙황의 공간 패턴을 각각 적합한 계층으로 처리하기 위함이다.

학습 손실은 (9)와 같이 네 개 항의 가중합으로 구성된다. L DQ는 1-step Double Q-learning 손실로, 현재 상태에서 한 행동을 했을 때 받는 보상과 다음 상태의 가치 추정을 더한 값에 Q값이 가까워지도록 학습하는 기본 항이다. L n은 n-step 손실로, 여러 step의 보상을 한 번에 반영하여 도착 시 주어지는 희소한 보상이 이전 상태들로 더 빠르게 전파되도록 한다. L E는 데모 전이에 한하여 적용되는 대규모 마진 지도 손실로, 데모에서 선택된 행동의 Q값을 다른 행동보다 일정 마진 이상 높게 유도함으로써 정책이 학습 초기부터 데모를 모방하도록 한다. L L2는 L2 정규화 항으로, 소수의 데모 전이에 대한 과적합을 억제한다. 이러한 손실 구성은 DQfD[5]의 설계를 따른 것으로, 데모를 모방하는 지도 학습 손실(L E)과 환경 보상으로부터 학습하는 강화학습 손실(L DQ, L n)을 함께 사용한다. 이를 통해 학습 초기에는 데모로부터 좋은 초기 정책을 빠르게 확보하고, 이후 환경과의 상호작용을 통해 정책을 점진적으로 개선한다. λ 1, λ 2, λ 3의 값은 4장에 제시한다. 또한 PER(Prioritized Experience Replay)[8]를 적용하여 데모 전이에 더 높은 우선순위를 부여하고, 데모는 학습 전반에 걸쳐 replay buffer에 보존한다.

4. 실험 설계

4.1 데이터 구성

학습과 평가는 연도를 분리하여 구성하였다. 학습에는 2014~2022년(9년)의 8월 15일 출발 시나리오를, 평가에는 2023~2025년(3년)의 8월 15일부터 31일까지의 출발 시나리오를 사용하였다. 본 연구는 ST-A* 데모 기반 DQfD 프레임워크의 유효성을 검증하는 데 목적이 있으므로, 북극항로 항행이 가능한 8월 운항 기간 내 기준 출발일로 8월 15일을 설정하여 학습하였다. 단일 출발일을 사용하더라도 학습 데이터는 9개 연도에 걸쳐 있어, 정책은 동일 날짜의 서로 다른 연도별 빙황을 학습하며 하나의 고정된 해빙 환경만을 학습하는 것과는 구별된다. 평가는 학습에 사용하지 않은 연도의 8월 15~31일 출발 시나리오로 수행하여, 미관측 연도와 출발일에 대한 일반화 가능성을 검증한다. 평가 시나리오는 3개 연도와 각 연도의 8월 15~31일(17일) 출발일을 조합한 51개로 구성되며, 각 시나리오를 가중치 w ∈ { 0.9 , 0.5 , 0.1 }별로 평가하였다.

4.2 비교 대상 및 평가 지표

제안 방법의 성능을 다음 네 가지와 비교한다. ST-A*는 각 시나리오의 목적함수를 직접 최소화하는 방법으로, 정책 학습이 도달할 수 있는 성능의 기준으로 활용한다. DQN은 표준 심층 강화학습 baseline이고, PDD DQN(Prioritized Dueling Double DQN)은 제안 방법에서 데모 학습 요소를 제외한 구조로 데모 효과를 분리하기 위한 비교 대상이며, DQfD는 본 연구의 제안 방법이다. 평가 지표는 도착률, 목적함수 값 J, 경로 산출 추론 시간이며, J는 보상 설계와 무관하게 실제 전체 운항 시간․비용으로 계산한다.

4.3 실험 환경 및 하이퍼파라미터

모든 실험은 Ubuntu 24.04 LTS(WSL2) 환경에서 수행하였다. 하드웨어는 Intel Core Ultra 9 285K, NVIDIA RTX PRO 6000 Blackwell(96GB), 94GiB RAM이며, 소프트웨어는 Python 3.10.20과 PyTorch 2.12.0(CUDA 12.8)을 사용하였다. 사전학습은 250 epoch(batch 256), 온라인 학습은 1,500 episode(학습률 2e-4, ε=0.3)로 수행하였다. 손실 가중치 (λ₁=λ₂=1.0, λ₃=1e−5), n-step(10), margin(0.8), PER 파라미터(α=0.6, εd=1.0, εa=0.001)는 DQfD 원 논문[5]의 설정을 참고하여 정하였다.

5. 실험 결과

5.1 다목적 경로의 상충관계

학습된 정책이 가중치에 따라 서로 다른 운항 전략을 산출하는지 확인하기 위해, 2023년 8월 18일 출발 시나리오에 대한 세 정책의 경로를 <Figure 4>에 시각화하였다.

색상은 목적을, 선의 굵기는 운항 속도를 나타낸다. 시간 우선 정책은 운항 시간을 가장 짧게 단축하였으나 비용이 가장 높았고(424h, $363K), 비용 우선 정책은 우회를 택하여 비용을 가장 낮추었으나 운항 시간이 가장 길었다(634h, $206K). 균형 정책은 그 중간으로, 시간 우선 대비 운항 시간은 소폭 늘었으나 비용을 크게 절감하였다(463h, $234K).

5.2 Space-Time A* 대비 성능

제안 방법(Ours)과 성능 기준인 ST-A*의 51개 평가 시나리오 평균 성능을 <Table 2>에 정리하였다. ST-A*는 각 시나리오의 시공간 상태 공간을 명시적으로 탐색하여 목적함수를 직접 최소화하므로 평균 J에서 제안 방법보다 우수하다. 그러나 이는 매 시나리오마다 방대한 시공간을 새로 탐색한 결과이다. 본 연구의 격자는 448×304 크기로 그 자체로 넓은 탐색 환경이며, 항행 가능 영역만 해도 약 79,536개 셀에 이른다. 각 위치에서 8방향과 5단계 속도를 조합한 40개의 행동을 고려하면 상태-행동 후보 수는 약 318만 개가 된다. 더욱이 이 탐색은 정적인 공간이 아니라 도착 시점마다 빙황이 달라지는 시공간에서 이루어진다. 동일한 셀이라도 시점별로 별개의 상태로 구분되어 최대 30일의 시간 차원이 더해지므로, 탐색이 다루어야 할 상태-행동 후보는 약 9,540만 개로 약 30배 늘어난다. ST-A*는 이처럼 거대한 시공간을 출발일․연도․목적 가중치나 예보가 달라질 때마다 처음부터 다시 탐색해야 하므로, 질의가 누적될수록 연산 비용이 급격히 증가한다. 실제로 전체 평가 질의의 경로 산출에 ST-A*는 약 1일 11시간이 소요된 반면, 제안 방법은 학습된 정책의 추론만으로 약 3분에 그쳐 약 700배 빠른 경로 산출 속도를 보였다. 다만 평균 J는 ST-A* 0.656, 제안 방법 1.029로 약 1.57배 높다. 이러한 속도와 경로 품질 사이의 상충관계가 갖는 의미는 제6장에서 논의한다.

5.3 강화학습 baseline 비교

강화학습 기반 방법 간 성능을 비교하기 위해 DQN, PDD DQN, 제안 방법(DQfD)을 비교하였으며, 결과는 <Table 3>과 같다. 도착률은 전체 51개 평가 시나리오 중 선박이 목표 지점에 도달한 시나리오의 비율로 정의한다. 평균 J는 도착에 성공한 시나리오뿐 아니라 미도착 시나리오까지 포함하여 산정하였으며, 미도착 시나리오에는 고정 벌점(J = 3.0)을 부여하였다. 이는 정상 항해에서 관측되는 J의 최댓값을 초과하는 최소 정수값이다. 다만 DQN은 모든 가중치 조건에서 도착률이 0%로 유효한 경로 품질 비교가 불가능하므로, <Table 3>에서는 J 값을 제시하지 않았다. 도착 시나리오만으로 평균을 산정할 경우 미도착이 많은 방법이 오히려 유리하게 보이는 편향이 발생하므로, 이를 방지하기 위해 PDD DQN의 미도착 시나리오에도 동일한 벌점 규칙을 적용하였다.

기본 DQN은 도착지 근처에서 출발하여 점진적으로 출발지를 멀리 옮기는 curriculum learning을 적용하였음에도 모든 가중치에서 도착에 실패하였다(도착률 0%). 데모 없이 탐험과 shaped reward에 의존하여, 넓은 상태 공간에서 목표에 도달하는 경로를 학습하지 못한 것으로 보인다. PDD DQN은 Dueling․Double Q-learning과 PER을 적용하여 88~100%의 도착률을 보였으나, 일부 가중치 조건에서는 도착에 실패한 시나리오가 존재하였다. 반면 제안 방법은 curriculum 없이 1,500 episode 학습만으로 모든 가중치에서 100% 도착률을 달성하였으며, 미도착 벌점을 포함한 평균 J 또한 1.029로 PDD DQN의 1.319보다 낮았다. 이는 데모 학습을 추가한 제안 방법이 더 적은 학습 episode로도 더 높은 도착률과 더 낮은 목적함수 값을 보였음을 나타낸다.

평균값과 더불어 제안 방법의 성능 변동성을 살펴보기 위해, 51개 평가 시나리오에 대한 목적함수 J의 분포를 <Figure 5>에 제시하고 표준편차를 함께 분석하였다. <Figure 5>에서 도착에 실패한 시나리오는 벌점값(J = 3.0)으로 표시하였다.

비용 우선(w = 0.1)과 균형(w = 0.5) 조건에서 DQfD의 표준편차는 각각 0.241, 0.124로 PDD DQN의 0.430, 0.358보다 작았다. 이는 두 조건에서 제안 방법이 시나리오에 따른 성능 변동성이 상대적으로 작고, 더 일관된 경로 품질을 보였음을 시사한다. 반면 시간 우선(w = 0.9) 조건에서는 양상이 다르게 나타났다. 미도착 시나리오에 벌점값을 부여한 전체 평균에서는 DQfD가 더 낮았으나, 도착에 성공한 시나리오만을 기준으로 하면 PDD DQN의 평균 J가 0.974로 DQfD의 1.182보다 낮았다. 이는 시간 우선 조건에서 PDD DQN이 도착에 성공한 시나리오에 한정하면 더 낮은 평균 J를 보였음을 의미한다. 다만 PDD DQN은 전체 51개 시나리오 중 6개에서 목적지에 도달하지 못한 반면, 제안 방법은 모든 시나리오에서 도달하였다. 실제 운항에서는 도달 실패 자체가 중요한 성능 저하 요인이 되므로, 시간 우선 조건의 결과는 평균 J뿐 아니라 도착률과 분포를 함께 고려하여 해석할 필요가 있다. 시간 우선 조건에서 도착 시나리오의 경로 품질을 개선하는 것은 향후 과제로 남긴다.

6. 함의

6.1 연산 효율과 경로 품질 상충관계 및 활용 방안

제안 방법은 ST-A* 대비 약 700배 빠른 추론 속도로 경로를 산출하였으나, 평균 목적함수 값은 약 1.57배 높았다. 이러한 격차는 각 평가 시나리오의 시공간 상태 공간을 전역적으로 탐색하여 목적함수를 직접 최소화하는 ST-A*와 달리, 제안 방법이 여러 학습 시나리오에서 일반화된 정책으로 각 시점의 행동을 순차적으로 선택하기 때문이다. ST-A*는 각 시나리오에서 미래 시점의 해빙 변화와 장기 누적 비용을 전역적으로 고려하여 경로를 탐색하는 반면, 제안 방법은 순차적 행동 선택에 의존하므로 전역 최적성을 보장하지 못한다. 이로 인해 제안 방법은 ST-A*에 비해 다소 우회하는 경로나 연료 효율이 낮은 속도를 선택하거나, 통항료 구역을 더 통과하는 경우가 발생할 수 있으며, 이러한 차이가 누적되어 목적함수 값의 격차로 나타난다.

여기서 제안 방법의 핵심 가치는 단일 시나리오의 산출 속도 자체보다, 학습된 정책을 평가된 미관측 조건에 대해 재탐색 없이 적용할 수 있다는 점에 있다. ST-A*는 출발일, 연도, 시간․비용 선호가 달라질 때마다 전체 시공간 탐색을 처음부터 반복해야 하지만, 제안 방법은 한 번 학습된 정책으로 새로운 조건에 대해 경로를 산출한다. 따라서 빙황 예보가 수시로 갱신되고 다수의 출발 조건과 선호를 반복적으로 비교해야 하는 환경에서, 매 질의마다 전체 탐색을 수행하는 방식은 계산 병목으로 작용하는 반면 학습된 정책은 다수의 후보 시나리오를 단시간에 평가할 수 있다.

다만 약 1.57배의 목적함수 상승은 연료비, 운항 시간, 또는 통항료 구역 통과 증가로 나타날 수 있으며, 실제 운항 비용 관점에서 결코 작지 않은 수준이다. 따라서 단일 운항 경로를 최종 확정하거나 비용 민감도가 큰 상황에서는 ST-A*와 같은 탐색 기반 방법이 더 적합하며, 제안 방법은 반복적인 시나리오 탐색과 초기 후보 경로 생성, 선호 변화에 따른 빠른 비교 분석을 위한 의사결정 지원 도구로 활용하는 것이 바람직하다. 두 방법을 함께 사용하여, 제안 방법으로 유망한 조건과 후보를 선별한 뒤 최종 단계에서 ST-A*로 재검증하는 단계적 활용도 가능하다. 한편 통항료 구역 통과에 따른 불연속 비용과 장기 누적 비용을 보상 설계에 더 정교하게 반영하면 이러한 격차를 일부 줄일 수 있으며, 이는 향후 과제이다.

6.2 데모 활용의 도달성 기여

강화학습 baseline 비교에서 나타난 도착률의 차이는, 넓은 시공간 상태 공간에서 도달 가능한 경로 정보를 학습에 어떻게 제공하는지와 관련이 있다. 기본 DQN은 데모 없이 환경 상호작용을 통한 탐험과 shaped reward에 의존하므로, 목표에 도달하는 긴 행동 시퀀스를 안정적으로 발견하기 어렵다. 그 결과 curriculum learning을 적용하였음에도 모든 가중치 조건에서 도착에 실패하였다. PDD DQN은 Dueling․Double Q-learning과 PER을 통해 가치 추정의 안정성과 학습 효율을 높여 도달성을 크게 개선하였으나, 도달 경로에 대한 직접적인 사전 정보 없이 탐험에 의존하는 구조이므로 일부 시나리오에서는 여전히 목적지에 도달하지 못하였다. 반면 제안 방법은 ST-A* 데모를 통해 학습 초기부터 도달 가능한 상태-행동 시퀀스를 학습함으로써, 탐험만으로는 찾기 어려운 도착 경로를 정책에 반영할 수 있었고, 모든 가중치 조건에서 100% 도착률을 달성하였다.

여기서 주목할 점은 PDD DQN과 제안 방법이 동일한 상태 공간, 행동 공간, 보상 구조, Dueling Q-Network를 공유하며, 비교 설계상 핵심 차이가 ST-A* 데모를 학습에 활용하는지 여부에 있다는 것이다. 따라서 두 방법 간 도착률과 경로 품질의 차이는 단순한 신경망 구조의 차이보다는, 탐색 기반 방법으로 생성한 도달 가능한 상태-행동 시퀀스를 학습 초기에 제공했는지 여부와 밀접하게 관련된다. 이는 희소한 도착 신호와 넓은 탐색 공간을 갖는 경로 계획 문제에서, 신경망 구조의 개선만으로는 충분하지 않을 수 있으며, 도달 가능한 경로 정보를 데모로 결합하는 것이 도달성 확보에 중요함을 시사한다. 또한 본 실험 설정에서 제안 방법이 baseline보다 적은 학습 episode로 100% 도착률에 도달한 점은, 데모 활용이 학습 효율 측면에서도 이점을 가질 수 있음을 시사한다.

7. 결론 및 향후 연구

본 연구는 동적 해빙 환경에서 시간과 비용을 동시에 고려하는 북극항로 다목적 최적화를 위해, ST-A* 데모 기반 DQfD 정책 학습 프레임워크를 제안하였다. 실제 운항 계획이 불확실한 빙황 예보와 다양한 출발 시점, 가변적인 시간․비용 선호에 대해 경로를 반복적으로 평가해야 하는 문제임에 착안하여, ST-A*로 위치와 시점을 결합한 시공간 상태 공간에서 시간 우선․균형․비용 우선의 데모 경로를 생성하고, 이를 DQfD 학습에 활용하여 가중치별 운항 정책을 학습하였다.

2023~2025년 평가 시나리오에 대한 실험 결과, 제안 방법은 ST-A* 대비 평균 목적함수 값이 약 1.57배 높은 수준에서 약 700배 빠른 추론 속도로 경로를 산출하였으며, 모든 가중치 조건에서 100%의 도착률을 달성하였다. 또한 데모 학습을 제외한 baseline과의 비교를 통해 ST-A* 데모를 활용한 정책 학습이 더 높은 도착률과 더 낮은 목적함수 값으로 이어짐을 확인하였고, 가중치 변화에 따라 시간과 비용 사이의 서로 다른 절충 전략을 학습할 수 있음을 확인하였다.

본 연구에는 몇 가지 한계가 있으며, 이를 향후 연구를 통해 보완하고자 한다. 첫째, 학습 출발일과 평가 대상 시기가 제한적이다. 본 연구는 프레임워크의 유효성 검증을 위해 8월 15일을 기준 출발일로 학습하고 미관측 연도․출발일에 대한 일반화 가능성을 확인하였으나, 학습에 사용한 출발일과 대상 시기는 여전히 제한적이다. 향후 연구에서는 학습 출발일을 8월 전체로 확대하여 다양한 출발 시점의 데모를 학습에 포함하고, 나아가 다른 월과 계절로 대상 시기를 넓혀 계절적 빙황 변화에 대한 일반화 성능을 검증할 필요가 있다.

둘째, 실제 운항 의사결정에서 중요한 여러 요소를 단순화하였다. 화물 종류에 따른 지연 허용도․위험비용․재고비용의 차이를 반영하지 못하였고, 스텝 간 급격한 속도․방향 변화에 대한 동역학적 제약(급가감속․급선회 등)은 선박 안정성이나 화물 안전과 직결되는 요소임에도 명시적으로 반영하지 못하였다. 한편 연료 단가는 비용 모델에 파라미터로 포함되어 있어 단가 변동 시 재학습을 통해 대응할 수 있으나, 단가 변화가 시간․비용 절충과 경로 선택에 미치는 영향에 대한 정량적 민감도 분석은 수행하지 못하였다. 향후에는 화물 유형별 위험 허용도와 지연비용․납기 시간창, 연료 단가 변동에 대한 민감도 분석, 그리고 속도․방향 변화량에 대한 페널티 또는 제약을 목적함수와 행동 공간에 반영하여 보다 현실적인 의사결정 지원 모델로 확장할 필요가 있다.

셋째, 보상 함수 설계를 더욱 정교화할 여지가 있다. 본 연구의 보상 함수는 시간․비용 페널티와 진행 보상, 도착 보상 등으로 구성되어 모든 평가 시나리오에서 100% 도착률을 달성하였으나, 실제 운항에서 고려할 수 있는 다양한 요소를 충분히 반영하지는 못하였다. 향후에는 연료 단가 변동이나 구간별 위험도 등을 보상 설계에 보다 세밀하게 반영하여, 도달성을 유지하면서도 경로 품질을 더욱 향상시키는 보상 함수를 탐색할 필요가 있다.

나아가 예보 앙상블 기반의 불확실성 인지 계획과 출발 시점․선호․화물 특성 간 상호작용을 통합한다면, 반복 질의 환경에서 제안 방법의 실질적 활용성을 보다 정량적으로 검증할 수 있을 것이다.