Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.49 No.3 pp.116-127
DOI : https://doi.org/10.11627/jksie.2026.49.3.116

RACE-HC: Structure-Certified Sequential Selection of One or Two Follow-up Design Points after Unreplicated Factorial Experiments

Kwanghyun Lee

, Dongju Lee†

Department of Industrial Engineering, Kongju National University

† Corresponding Author : djlee@kongju.ac.kr

Received 19/07/2026 Finally Revised 17/08/2026 Accepted 18/08/2026

Abstract

Industrial experiments often leave only one observation per candidate condition and only one or two follow-up runs. This study proposes Rank-Adaptive Certified Experiment with Hierarchy Certification (RACE-HC), a structure-certified sequential policy for selecting follow-up design points. For q=1, RACE-HC uses leave-one-condition-out rank certification to decide whether a structural model may guide the knowledge gradient (KG). For q=2, it checks effect hierarchy and applies sequential KG, using hierarchy shrinkage only when the hierarchy certificate is satisfied. Public response-table experiments show that RACE-HC reduces mean normalized selection loss compared with major baselines. A water-valve chattering case further illustrates its use in industrial follow-up decision making.

Key Words : Unreplicated Factorial Experiment , Low-Budget Follow-Up Experiment , Strict Leave-One-Condition-Out , Knowledge Gradient , Effect Hierarchy , Simple Regret

RACE-HC: 반복 없는 요인실험 후 남은 1회 또는 2회의 실험점 선택을 위한 구조인증형 순차 설계

이광현, 이동주†

공주대학교 산업공학과

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론¹⁾

제조현장의 실험계획은 통계적 이상보다 자원제약에 먼저 부딪힌다. 시제품 제작, 설비 전환, 파괴시험, 공정 정지와 측정시간 때문에 모든 인자수준조합을 반복하기 어렵고, 초기 실험이 끝난 뒤에도 추가로 허용되는 시험은 한 번 또는 두 번에 그치는 경우가 많다. 이때 실무자는 현재 관측값이 가장 좋은 조건을 다시 시험할지, 경쟁조건을 확인할지, 혹은 구조모형이 제시하는 다른 조건에 배치할지를 결정해야 한다. 확인실험은 재현성을 점검하는 데 유용하지만[5], 남은 예산이 극단적으로 작을 때 모든 후속시험을 현재 승자에게 배치하는 것이 최종 조건선택 관점에서 항상 최선이라고 볼 수는 없다.

반복 없는 요인실험의 핵심 어려움은 순수 실험오차를 별도로 추정할 수 없다는 데 있다. Box and Meyer[1], Lenth[2], Hamada and Balakrishnan[3]은 효과희소성 등의 구조가정을 이용해 반복 없는 실험을 분석하였다. 이러한 구조는 실제 산업문제에서 강력할 수 있지만, 각 셀을 한 번만 관측한 상태에서는 관측잡음과 구조효과를 구분하기 어렵다. 구조가 맞으면 한 번의 후속시험으로 여러 조건의 불확실성을 동시에 줄일 수 있으나, 구조가 틀리면 희소한 예산이 잘못된 조건으로 이동한다.

본 연구는 초기 실험 이후 후속예산으로 추가 실험을 1회 또는 2회만 수행할 수 있는 상황을 다룬다. 이를 위해 RACE-HC(Rank-Adaptive Certified Experiment with Hierarchy Certification)를 제안한다. 추가 실험이 1회인 경우(q=1)에는 한 번의 관측으로 최종 추천을 끝내야 하므로, 구조모형이 자기 셀을 보지 않고도 상위조건의 순위를 복원하는지 엄격하게 평가한다. 추가 실험이 2회인 경우(q=2)에는 첫 결과를 반영해 두 번째 시험을 순차적으로 정할 수 있으므로, 초기 효과스펙트럼에서 1차 효과가 2차 이상 효과보다 우세할 때만 계층축소를 적용한다. 두 경우 모두 후속점은 기존 요인설계점 중에서 선택하며, 목적은 전체 예측오차가 아니라 최종 추천조건의 선택손실을 줄이는 것이다.

본 연구의 기여는 세 가지다. 첫째, 각 후보조건을 한 번씩 관측한 뒤 추가 실험을 한 번 또는 두 번만 수행할 수 있는 문제를 최종조건 식별문제로 정식화한다. 둘째, 구조인증형 순차 설계방법을 제안한다. q=1에서는 자기 셀의 반응을 적합·모형선택·예측에서 완전히 제외하는 엄격 셀 제외 교차예측(strict leave-one-condition-out, LOCO)을 구현하고, 순위복원 결과에 따라 구조모형의 사용 여부를 결정한다. q=2에서는 효과복잡도 스펙트럼을 이용한 계층인증과 두 번의 순차 지식기울기(knowledge gradient, KG)를 결합한다. 셋째, 공개 반응표 기반 비교실험과 재현성 검사를 통해 제안법의 성능과 구현 일치 여부를 확인한다.

2. 선행연구와 연구 공백

2.1 반복없는 요인실험과 후속설계

반복 없는 요인실험에서는 직교대비로 주효과와 교호작용을 계산할 수 있으나 오차자유도가 남지 않는다. Box and Meyer[1]는 소수의 효과만 활성이라는 베이지안 효과 희소성 관점을 제시했고, Lenth[2]는 작은 효과들의 분포를 이용한 실무적 분석법을 제안하였다. Hamada and Balakrishnan[3]은 관련 방법을 종합하면서 효과희소성, 정규성 가정과 강건성의 한계를 논의하였다. 효과계층 원리는 고차 교호작용이 나타날 때 관련 주효과와 저차 교호작용도 함께 중요할 가능성이 높다는 경험적 구조를 모형에 반영한다[11, 12]. 본 연구에서는 1차 효과와 2차 이상 효과의 상대적 크기인 효과복잡도 스펙트럼으로 1차 효과 우세 여부를 확인하고, 우세가 확인되면 2차 이상 효과의 모형 포함확률을 낮추는 계층축소를 적용한다.

후속설계 연구는 교락 해소, 설계 보강과 확인실험으로 발전해 왔다. Meyer et al.[4]는 다인자 실험에서 모형 불확실성을 줄이기 위한 후속설계를 제안했고, Stevens and Anderson-Cook[5]은 최적조건의 재현성을 평가하는 확인 실험의 설계와 분석을 체계화하였다. 그러나 이 연구들은 대체로 교락해소, 모형식별 또는 확인 자체를 중심으로 하며, 각 조합을 이미 한 번씩 시험한 뒤 기존 점에 추가 1회 또는 2회만 배치하는 최종조건 식별문제를 직접 다루지는 않는다.

2.2 베이지안 순차설계와 구조 불확실성

베이지안 실험설계는 미래관측이 최종 의사결정의 기대효용을 얼마나 높이는지를 기준으로 실험점을 선택한다 [6]. KG는 후보를 한 번 관측한 뒤 가능한 사후평균 최대값의 기대증가를 계산하며, 유한 후보의 순차정보수집에서 널리 사용된다[7, 8]. 최고대안 식별(best-arm identification) 연구는 누적보상보다 마지막에 가장 좋은 대안을 고르는 문제를 다루고, Top-Two 방식은 상위 경쟁대안에 예산을 집중한다[9]. 본 연구도 누적성과보다 최종조건 선택을 목적으로 하며, 초기자료를 상태, 후속실험점 선택을 행동, q별 선택규칙을 정책으로 보는 강화학습의 상태-행동-정책 관점을 차용한다. 다만 별도의 강화학습 모형을 학습하는 것은 아니며, KG와 선택손실을 의사결정 기준으로 사용한다.

모형 불확실성을 처리하는 대표적 방법에는 베이지안 모형평균[14]과 예측분포 stacking[15]이 있다. 그러나 한 번씩만 관측된 셀에서 적합도가 높은 구조모형을 곧바로 선택하면 동일자료로 모형을 선택하고 의사결정하는 낙관 편향이 생길 수 있다. 또한 전체자료로 모형이나 하이퍼파라미터를 정한 뒤 계산한 근사 교차예측은 진정한 셀 제외 예측과 같지 않다. RACE-HC는 q=1의 각 LOCO fold에서 동일한 학습자료에 대해 잔차자유도 3 이상을 만족하는 중첩 저차모형을 후보로 구성한다. 예를 들어 주효과 모형과, 자료 수가 허용하는 경우 주효과에 2차 효과를 추가한 모형이 후보가 될 수 있다. 후보가 둘 이상일 때만 소표본에서 과도하게 복잡한 모형이 선택되는 것을 피하기 위해 AICc(Corrected Akaike information criterion)를 사용한다 [13]. q=2에서는 초기 효과복잡도 스펙트럼을 이용해 계층 구조의 사용 여부를 판단한다.

2.3 연구공백과 제안법의 위치

기존 연구는 대체로 세 부류로 정리된다. 첫째, 현재 승자나 상위 두 조건을 반복하는 가정이 적은 정책이다. 둘째, 희소효과 또는 계층구조를 사전에 신뢰하는 구조정책이다. 셋째, 예측적합도나 모형증거로 구조정책의 사용 여부를 결정하는 정책이다. 본 연구의 공백은 남은 예산이 q=1 또는 q=2로 제한된 상황에서, 구조모형을 곧바로 후속실험 결정에 사용하지 않고 해당 예산에서 필요한 능력을 먼저 확인하는 데 있다. q=1에서는 조건 하나를 제외하 고도 상위조건의 순위를 복원할 수 있는지를 확인하고, q=2에서는 1차 효과가 2차 이상 효과보다 뚜렷한지를 확인한 뒤 구조정보를 사용한다. 비교를 위해 현재 1등 반복, 상위 두 조건 확인, 그리고 희소효과 사후분포에 KG를 적용한 Sparse-KG를 기준선으로 사용한다. 주요 비교정책과 RACE-HC의 차이는 <Table 1>에 정리하였다.

3. 문제정의와 평가지표

3.1 초기자료와 후속예산

사전에 정의된 후보 실험조건을 $X = {x_{1}, \dots, x_{K}}$ 라 한다. 조건 $x_{k}$ 의 실제 평균을 $μ_{k}$ , 초기 관측값을 $y_{k}$ 라 하면 두 값의 관계는 식 (1)과 같이 표현할 수 있다.

y_{k} = μ_{k} + ε_{k}, E (ε_{k}) = 0

(1)

초기 실험에서는 각 조건을 한 번씩만 관측한다. 이후 남은 후속예산은 q=1 또는 q=2이며, 본 연구의 목적은 추가 실험 후 추천조건 ${\hat{k}}_{q}$ 를 선택하는 것이다.

전체 후보조건 중 실제 평균성능이 가장 큰 값을 $μ_{best}$ , 가장 작은 값을 $μ_{worst}$ 라 한다. 최종 추천조건 ${\hat{k}}_{q}$ 의 실제 평균은 $μ_{{\hat{k}}_{q}}$ 로 표시한다. 좋은 방법일수록 $μ_{{\hat{k}}_{q}}$ 가 $μ_{best}$ 에 가까워야 한다.

망대특성에서는 평균성능이 클수록 좋다고 보고, 망소특성은 반응의 부호를 바꾸어 동일하게 처리한다. 검증에서는 실제 평균 $μ_{k}$ 를 정책에 제공하지 않고, 최종 채점에만 사용한다.

3.2 정규화 선택손실과 적중률

본 연구의 1차 평가지표는 정규화 선택손실이다. 이는 최종 추천조건이 실제 최적조건보다 얼마나 낮은 평균성능을 갖는지를 나타낸다. 반응표마다 반응값의 단위와 크기가 다르므로, 전체 성능범위로 나누었으며, 정규화 선택손실은 식 (2)와 같이 정의하였다.

r_{q} = \frac{μ_{best} - μ_{{\hat{k}}_{q}}}{μ_{best} - μ_{worst}}

(2)

여기서 $μ_{best}$ 는 전체 후보조건 중 가장 큰 실제 평균성능이고, $μ_{worst}$ 는 가장 작은 실제 평균이다. $μ_{{\hat{k}}_{q}}$ 는 추가실험 q회 후 최종 추천조건의 실제 평균성능이다. 따라서 $r_{q}$ =0이면 최적조건을 선택한 것이고, 값이 클수록 선택손실이 크다.

보조지표로 최적조건 적중률(probability of correct selection, PCS)을 사용한다. PCS는 최종 추천조건이 실제 최적조건과 일치한 비율이다. 따라서 정규화 선택손실은 낮을수록 좋고, PCS는 높을수록 좋다.

4. 제안하는 RACE-HC 방법

4.1 기본 개념

RACE-HC의 최종 실험점 선택 기준은 지식기울기(knowledge gradient, KG)이다. KG는 특정 조건을 한 번 더 시험했을 때, 최종적으로 선택할 조건의 기대가치가 얼마나 증가하는지를 계산한다. 따라서 KG가 큰 조건은 “한 번 더 시험했을 때 최종 판단을 가장 많이 개선할 가능성이 큰 조건”을 의미한다.

그러나 KG를 계산하려면 각 후보조건의 예상 성능, 불확실성, 측정오차가 먼저 필요하다. 이 값들은 구조모형으로부터 계산되므로, 구조모형이 잘못되면 KG도 잘못된 조건을 선택할 수 있다. RACE-HC의 핵심은 KG 자체를 새로 만드는 것이 아니라, KG를 계산하기 전에 구조모형을 믿어도 되는지 검사하는 것이다.

본 연구에서는 남은 후속예산이 1회인 경우와 2회인 경우를 구분한다. 후속예산이 1회인 경우에는 한 번의 실험 후 바로 최종 조건을 추천해야 하므로, 구조모형이 상위조건의 순위를 제대로 복원하는지가 중요하다. 이를 위해 각 조건을 하나씩 가리고 나머지 조건만으로 해당 조건을 예측하는 엄격 조건 제외 교차예측(strict leave-one-condition-out, LOCO)을 수행한다. 후속예산이 2회인 경우에는 첫 번째 후속실험 결과를 본 뒤 두 번째 실험점을 다시 선택할 수 있으므로, 1차 효과가 2차 이상 효과보다 뚜렷한 경우에만 계층구조를 반영한다.

따라서 RACE-HC는 다음과 같이 요약할 수 있다.

초기자료→구조인증→인증 결과에 따른 후속실험점 선택

여기서 구조인증은 q=1에서는 순위인증이고, q=2에서는 계층인증이다.

4.2 후보조건과 효과모형

이 절의 목적은 KG 계산에 필요한 세 값, 즉 각 조건의 예상 평균 $m$ , 조건 간 공분산 $Σ$ , 관측오차분산 $σ^{2}$ 를 만드는 것이다. 즉 구조모형은 다음 실험점을 직접 고르는 단계가 아니라, KG가 사용할 입력값을 만드는 단계이다. KG는 이 입력값을 이용하여 어느 조건을 한 번 더 시험할 때 최종 판단이 가장 많이 개선되는지를 계산한다.

사전에 정의된 후보 실험조건을

X = {x_{1}, \dots, x_{K}}

라 하고, 각 조건에서 한 번씩 관측한 초기반응을

y = {(y_{1}, \dots, y_{K})}^{T}

라 한다. 반응은 망대특성으로 두며, 망소특성은 부호를 바꾸어 동일하게 처리한다.

RACE-HC는 기존 후보조건 중에서만 후속실험점을 선택한다. 즉 새로운 연속조건을 탐색하는 방법이 아니라, 이미 정의된 후보조건 중 어디를 한 번 또는 두 번 더 시험할지를 결정하는 방법이다.

요인실험에서는 조건별 반응은 주효과와 교호작용으로 다시 표현할 수 있다. 예를 들어 2수준 3인자 실험에서는 A, B, C 주효과와 AB, AC, BC, ABC 교호작용으로 초기 반응을 분해할 수 있다. 이를 행렬로 표현한 것이 직교 효과기저 $H$ 이며, 조건별 반응 $y$ 는 식 (3)과 같이 효과값 $z$ 로 변환된다.

z = H^{T} y

(3)

여기서 $z_{j}$ 는 $j$ 번째 효과의 크기를 나타낸다.

RACE-HC는 모든 효과가 중요하다고 보지 않는다. 실제 산업 요인실험에서는 많은 효과 중 일부만 실제로 큰 경우가 많으므로, 효과희소성 구조를 사용한다. 각 효과의 활성 여부와 관측오차를 포함한 효과희소 모형은 식 (4)와 같이 정의한다[1, 10].

\begin{matrix} γ_{j} \sim Bernoulli (π), \\ θ_{j} | γ_{j} = {\begin{matrix} 0 & 효과가 비활성인 경우 \\ N (0, τ^{2}) & 효과가 활성인 경우 \end{matrix} \\ z_{j} | θ_{j} \sim N (θ_{j}, σ^{2}) \end{matrix}

(4)

여기서 $γ_{j}$ 는 j번째 효과의 활성 여부를 나타낸다. $π$ 는 효과가 활성일 사전 포함확률이고, $θ_{j}$ 는 j번째 효과의 알려지지 않은 실제 효과값이다. $z_{j}$ 는 초기자료에서 계산한 관측 효과값이다. $σ^{2}$ 는 관측 효과값의 오차분산이고, $τ^{2}$ 는 활성 효과값의 분산이다. 효과희소 하이퍼파라미터( $π$ , $σ$ , $τ$ )는 사전에 정한 후보격자에서 벌점화된 주변로그가능도를 최대화하는 조합으로 선택하였다. 선택된 모형으로 효과별 사후평균과 사후분산을 계산하고, 이를 후보조건 공간으로 변환하여 조건별 예상평균 $m$ 과 공분산 $Σ$ 를 구성하였다. 이후 KG는 이 세 값을 사용하여 계산된다.

단, q=1과 q=2에서 구조모형을 사용하는 방식은 다르다. q=1에서는 구조모형이 상위조건 순위를 잘 복원하는지 먼저 확인하고, q=2에서는 1차 효과가 2차 이상 효과보다 뚜렷한지 확인한다.

여기서 공분산 $Σ$ 는 후보조건 평균의 불확실성을 나타낸다. 대각원소 $Σ_{i i}$ 는 조건 i 자체의 평균을 얼마나 불확실하게 알고 있는지를 의미하고, 비대각원소 $Σ_{i j}$ 는 조건 j를 관측했을 때 조건 i의 평균도 함께 얼마나 갱신되는지를 나타낸다. 효과공간에서 계산한 효과별 사후분산을 조건공간으로 되돌리면 $Σ$ = $H$ var( $θ$ |D) $H^{T}$ 가 되며, KG는 이 $Σ$ 와 관측오차분산 $σ^{2}$ 를 이용해 한 번 더 관측할 때 최종 판단이 얼마나 개선되는지를 계산한다.

4.3 q=1: 순위인증 후 KG 선택

q=1은 추가 실험을 한 번만 수행할 수 있는 상황이다. 이때 구조모형을 잘못 믿으면 한 번뿐인 후속실험을 잘못된 조건에 사용할 수 있다. 따라서 RACE-HC는 먼저 구조모형이 상위조건을 제대로 구별할 수 있는지 검사한다.

이를 위해 각 조건을 하나씩 가리고 나머지 조건만으로 해당 조건을 예측한다. 예를 들어 조건 8을 평가할 때는 조건 8의 반응 $y_{8}$ 을 완전히 제거하고, 조건 1~7의 자료만으로 조건 8의 반응을 예측한다. 이렇게 얻은 예측값을 ${\hat{y}}_{8, - 8}$ 라 한다. 같은 과정을 조건 1부터 조건 $K$ 까지 반복하면

{\hat{y}}_{1, - 1}, {\hat{y}}_{2, - 2}, \dots, {\hat{y}}_{K, - K}

를 얻는다. 이것을 LOCO 예측이라고 하며, LOCO 예측오차를 전체 평균 예측오차와 비교한 설명력은 식 (5)와 같이 계산한다.

R_{LOCO}^{2} = 1 - \frac{\sum_{i = 1}^{K} {(y_{i} - {\hat{y}}_{i, - i})}^{2}}{\sum_{i = 1}^{K} {(y_{i} - \bar{y})}^{2}}

(5)

여기서 ${\hat{y}}_{i, - i}$ 는 조건 i를 제외한 자료로 조건 $i$ 를 예측한 값이고, $\bar{y}$ 는 초기반응의 평균이다. 분자는 LOCO 예측오차의 제곱합이고, 분모는 아무 구조도 쓰지 않고 전체 평균으로만 예측했을 때의 기준오차이다.

따라서 $R_{LOCO}^{2}$ ≥0이면 LOCO 예측이 단순 평균예측보다 같거나 낫다는 뜻이고, $R_{LOCO}^{2}$ <0이면 구조모형이 평균예측보다도 못하다는 뜻이다.

둘째는 상위순위점수이다. 실제 관측값 기준 상위조건 집합을 $T$ 라 한다. 본 연구에서는 상위 25% 조건을 사용하되 최소 2개 조건은 포함하며, 상위조건의 수는 식 (6)과 같이 정한다.

| T | = \max {2, ⌊ K / 4 ⌋}

(6)

각 조건의 LOCO 예측값을 큰 순서대로 정렬하고, 조건 $i$ 의 예측순위를 ${\hat{r}}_{i}$ 라 한다. 순위는 0이 가장 좋은 조건을 뜻한다. 그러면 상위순위점수는 식 (7)과 같이 계산한다.

TopScore = 1 - \frac{\sum_{i \in T} {\hat{r}}_{i}}{| T | (K - 1)}

(7)

이 값은 실제 상위조건들이 LOCO 예측에서도 상위권에 있으면 1에 가까워지고, 하위권으로 밀리면 0에 가까워진다. 즉 전체 예측오차가 아니라 좋은 조건을 좋은 조건으로 복원했는지를 보는 지표이다.

q=1에서 구조모형의 사용 여부는 식 (8)의 기준으로 결정한다.

C_{R} = I (R_{LOCO}^{2} \geq 0, TopScore \geq 0.50)

(8)

여기서 $C_{R}$ =1이면 순위인증을 통과한 것이고, $C_{R}$ =0이면 순위인증에 실패한 것이다. 이 기준은 검증결과를 보기 전에 고정하였다.

순위인증에 실패하면 구조모형을 사용하지 않고 현재 관측값이 가장 좋은 조건을 한 번 더 시험한다. 인증 실패와 통과 시의 후속실험점 선택규칙은 각각 식 (9a)와 식 (9b)와 같다.

a_{1}^{*} = \underset{i}{arg max} y_{i}, C_{R} = 0

(9a)

순위인증을 통과하면 계층비가 0.37 이하인 경우 2.2절의 저차 요인모형을, 0.37을 초과하는 경우 교환가능 희소효과 모형을 사용하여 평균 $m$ , 공분산 $Σ$ , 관측오차분산 $σ^{2}$ 를 구성한다. 이후 모든 후보조건의 KG를 계산하고, KG가 가장 큰 조건을 후속실험점으로 선택한다.

a_{1}^{*} = \underset{a}{arg max} KG (a), C_{R} = 1

(9b)

한 번의 후속실험 결과가 관측되면 해당 정보를 반영하여 평균과 불확실성을 갱신하고, 최종적으로 사후평균이 가장 큰 조건을 추천한다.

4.4 q=2: 계층인증 후 순차 KG 선택

q=2는 추가 실험을 두 번 수행할 수 있는 상황이다. q=2에서는 첫 번째 후속실험 결과를 확인한 뒤 두 번째 실험점을 다시 선택할 수 있으므로, q=1보다 구조정보를 활용할 여지가 크다. 다만 고차 교호작용을 무조건 신뢰하면 잡음에 크게 보인 효과를 과도하게 사용할 수 있다. 따라서 RACE-HC는 먼저 1차 효과가 2차 이상 효과보다 뚜렷한지 확인한다.

요인실험에서는 일반적으로 주효과와 저차 교호작용이 먼저 나타나고, 고차 교호작용은 상대적으로 드물게 나타난다는 경험적 원리가 있다. 따라서 RACE-HC는 초기 효과공간에서 1차 효과가 2차 이상 효과보다 뚜렷한지 확인한다.

효과 $j$ 의 복잡도를 $c_{j}$ 라 한다. 2수준 인자에서는 주효과의 복잡도는 1이고, 2인자 교호작용의 복잡도는 2이며, 3인자 교호작용의 복잡도는 3이다. 계층비는 식 (10)과 같이 정의한다.

C_{H} = \frac{\max_{c_{j} \geq 2} | z_{j} |}{\max_{c_{j} = 1} | z_{j} | + ε}

(10)

여기서 $ε$ 은 최대 1차 효과가 0인 경우 분모가 0이 되는 것을 방지하기 위한 수치안정화 상수이며, 본 연구에서는 그 값을 $10^{- 12}$ 로 설정하였다. 분자는 가장 큰 2차 이상 효과의 크기이고, 분모는 가장 큰 1차 주효과의 크기이다. 따라서 $C_{H}$ 가 작다는 것은 1차 주효과가 고차 효과보다 뚜렷하다는 뜻이다.

계층인증 기준은 식 (11)과 같으며, 만족하면 계층구조가 지지된다고 판단한다.

C_{H} \leq {0.37}^{1)}

(11)

이 경우 고차 효과를 제거하지는 않는다. 다만 반복 없는 자료에서 우연히 크게 보인 고차효과를 과신하지 않도록, 효과의 복잡도가 높아질수록 사전 포함 가능성을 낮춘다. 따라서 2차 이상 효과가 선택되기 위해서는 더 강한 자료증거가 필요하다.

이를 수식으로 쓰면 식 (12)와 식 (13)과 같다.

logit (π_{j}) = logit (π) - λ_{H} \max (c_{j} - 1, 0)

(12)

λ_{H} = 0.75 I (C_{H} \leq 0.37)

(13)

여기서 $π$ 는 기본 효과 포함확률이고, $π_{j}$ 는 효과 $j$ 의 보정된 포함확률이다. $logit (π)$ =log( $π$ /(1− $π$ ))이다. 계층인증을 통과하면 $λ_{H}$ =0.75가 되어 복잡도가 높은 효과의 포함 가능성이 낮아진다. 계층인증을 통과하지 못하면 $λ_{H}$ =0이 되어 별도의 계층축소를 적용하지 않는다.

이후 절차는 KG를 순차적으로 두 번 수행하는 것이다. 먼저 초기자료로부터 계산한 평균 $m$ , 공분산 $Σ$ , 관측오차분산 $σ^{2}$ 를 사용하여 모든 후보조건의 KG 최대점을 선택한다. q=2의 첫 번째와, 두 번째 후속실험점 선택규칙은 각각 식 (14a)와 식 (14b)와 같다.

a_{1}^{*} = \underset{a}{arg max} {KG}_{0} (a)

(14a)

첫 번째 후속실험 결과 $Y_{a 1}$ 를 관측한 뒤, 평균과 공분산을 갱신한다. 그런 다음 갱신된 상태에서 다시 모든 후보조건의 KG를 계산하여 두 번째 후속실험점을 선택한다.

a_{2}^{*} = \underset{a}{arg max} {KG}_{1} (a | Y_{a_{1}})

(14b)

마지막에는 두 번의 후속실험 결과를 모두 반영한 사후평균이 가장 큰 조건을 최종 추천한다.

즉 q=2는 처음부터 두 조건을 고정해 놓는 방법이 아니다. 첫 번째 결과가 좋게 나오느냐 나쁘게 나오느냐에 따라 두 번째 실험점이 달라지는 순차정책이다.

4.5 지식기울기와 사후갱신

RACE-HC에서 실제 후속실험점을 선택하는 값은 KG이다. KG는 현재 평균이 가장 높은 조건을 단순히 고르는 기준이 아니라, 특정 조건을 한 번 더 시험했을 때 최종 추천조건에 대한 판단이 평균적으로 얼마나 개선되는지를 계산하는 기준이다. 현재 후보조건들의 사후평균을 $m$ , 공분산을 $Σ$ , 관측오차분산을 $σ^{2}$ 라 하자. 여기서 $m$ 은 각 조건의 예상성능이고, $Σ$ 는 각 조건의 불확실성과 조건 간 같이 갱신되는 정도를 나타낸다. $σ^{2}$ 는 같은 조건을 반복 측정해도 발생하는 관측오차이다. 후보조건 $a$ 를 한 번 더 시험했을 때의 KG는 식 (15)와 같이 계산한다.

KG (a) = E [\max_{i} m_{i}^{+} | a, D] - \max_{i} m_{i}

(15)

여기서 $m_{i}$ 는 현재 조건 $i$ 의 사후평균이고, $m_{i}^{+}$ 는 후보조건 $a$ 를 한 번 더 관측한 뒤 갱신된 조건 $i$ 의 사후평균이다.

따라서 $KG (a)$ 는 후보조건 $a$ 를 시험했을 때 최종 최고 조건 판단가치가 얼마나 증가하는지를 나타낸다. $KG (a)$ 가 클수록 그 조건을 한 번 더 시험하는 정보가치가 크다.

후속관측 $Y_{a}$ 가 주어지면 평균과 공분산은 식 (16)과 식 (17)에 따라 갱신한다.

m^{+} = m + \frac{Σ_{: a}}{Σ_{a a} + σ^{2}} (Y_{a} - m_{a})

(16)

Σ^{+} = Σ - \frac{Σ_{: a} Σ_{a :}}{Σ_{a a} + σ^{2}}

(17)

여기서 $Σ_{: a}$ 는 모든 조건과 조건 $a$ 사이의 공분산 벡터이고, $Σ_{a a}$ 는 조건 $a$ 의 분산이다.

식 (15)의 기댓값은 정규분포 전체에 대해 계산해야 하므로, 구현에서는 15점 Gauss-Hermite 구적법을 사용하였다. 모든 후보조건에 대해 KG를 계산한 뒤 KG가 가장 큰 조건을 다음 실험점으로 선택한다.

4.6 통합 알고리즘

RACE-HC의 예산별 실행절차는 <Table 2>에, 전체 실행흐름은 <Figure 1>에 제시하였다. 핵심은 예산별 구조인증 결과에 따라 구조정보의 사용 방식과 후속실험점 선택규칙을 달리한다는 점이다. q=1에서는 순위인증을 통과하 면 KG로 후속실험점을 선택하고, 인증에 실패하면 현재 관측값이 가장 좋은 조건을 다시 시험한다. q=2에서는 계층인증 결과에 따라 계층축소 적용 여부를 결정한 뒤 KG를 순차적으로 적용한다.

5. 검증설계

5.1 설정값 고정과 공개 반응표

사전 고정값은 알고리즘 성능평가 전에 정하고 최종 검증 과정에서는 변경하지 않은 기준값과 하이퍼파라미터를 뜻한다. q=1의 LOCO 설명력 기준 0, TopScore 기준 0.5, 최소 잔차자유도 3은 최종 검증 전에 고정하였다. q=2의 계층비 기준 임계값 0.37과 log-odds 벌점 0.75도 동일하게 사전에 고정하였다. 이후 방법, 상수, 비교정책을 바꾸지 않고 q별 검증을 수행하였다.

q=1과 q=2의 주 검증에는 NIST Dataplot의 BOWEN, BOXCAKE, FULLER, NUT, SPLETT, SUMMERB, TANG, EVANS와 WEBER 반응표를 사용하였다[16]. 이들은 모든 인자수준조합이 포함된 2수준 요인 반응표이며, 7개는 $2^{5}$ 이다. q=1에는 별도의 광범위 반응면 유형 강건성 검증축을, q=2에는 BOXPILOT( $2^{3}$ ), BOXSOLAR( $2^{4}$ ), BOXREACT( $2^{5}$ ) 독립 공개 검증축을 추가하였다.

5.2 관측오차와 공통난수 비교

각 공개 반응표에는 정규, Student-t(3), Laplace, 8% 오염혼합, 반응크기 연동 이분산과 우측 비대칭의 6개 오차 분포유형과 표준화 오차크기 0.2, 0.5, 0.9를 부가하였다. 정책에는 각 셀의 최초 관측 1개만 제공하였다. 모든 정책에 같은 초기관측과 같은 후속관측 후보를 제공하는 공통난수 비교를 수행하였다. 이를 통해 정책 간 차이가 난수 차이가 아니라 후속실험점 선택의 차이에서 나오도록 하였다. 실제 평균반응은 최종 채점에만 사용하였다.

q=1 NIST 검증은 4,860회, q=1 광범위 강건성 검증은 3,456회, q=2 NIST 검증은 9,720회, q=2 별도 공개 검증은 3,240회의 공통난수 비교로 구성하였다.

q=1 비교군은 RepeatBest, Sparse-KG와 계층축소만 사용하는 HC-Pure이고, q=2 비교군은 Sparse-KG 순차 KG와 Adaptive Top-Two다. 검증 설정과 비교정책은 <Table 3>에 정리하였다.

5.3 추론과 데이터 누수 점검

공개 반응표 검증에서는 평균 선택손실과 PCS를 함께 비교하였다. 또한 반응표별 결과를 확인하여 특정 자료나 잡음조건에만 의존한 결과인지 점검하였다. 광범위 강건성 검증은 다양한 반응구조에서 평균 성능 방향이 유지되는지 확인하기 위한 보조 검증축으로 사용하였다.

구현 재현성을 위해 코드, seed, 원시결과를 별도 패키지로 정리하였다. 원본 파일의 무결성은 SHA-256 checksum으로 확인하였고, RACE-HC가 최소 실행경로에서 오류 없이 작동하는지 smoke test로 점검하였다. 또한 q=1의 LOCO에서 제외된 조건의 반응값이 해당 fold의 예측에 영향을 주지 않는지, 그리고 선택되지 않은 후속관측값이 정책의 선택과 최종추천에 영향을 주지 않는지 확인하였다.

5.4 워터밸브 채터링 사례의 분석 원칙

산업 적용 가능성을 확인하기 위해 워터밸브 채터링 개선 사례를 별도로 분석하였다. 본 사례의 자료는 국내 제조기업의 워터밸브 채터링 개선활동에서 연구자가 직접 수집한 산업현장 1차 자료이다. 기업명, 제품명, 모델명 및 협력사명 등 식별정보는 기밀 보호를 위해 익명화하였다. 초기 실험은 센터홀 치수, 홀더 비중, 다이어프램 비중을 입력인자로 하는 L9 스크리닝으로 수행하였다. 각 조건에서 시료 20개를 평가하였으며, 반응값은 시험수 대비 채터링 불량수로 정의하였다.

불량률은 작을수록 좋은 망소특성이므로, RACE-HC의 연속형 입력으로 사용하기 위해 식 (18)의 품질점수로 변환하였다.

Y_{i} = \log {\frac{n_{i} - d_{i} + 0.5}{d_{i} + 0.5}}

(18)

여기서 $d_{i}$ 는 조건 $i$ 의 채터링 불량수이고, $n_{i}$ 는 시험수이다. 이 값은 불량이 적을수록 커지므로, 본 논문의 망대특성 분석 체계와 동일하게 사용할 수 있다.

본 사례에서 q는 추가 시료수가 아니라 추가로 확인할 실험조건의 수를 의미한다. q=1에서는 L9 자료용 규제 회귀모형을 이용해 LOCO 순위인증을 수행하고, 인증 결과에 따라 후속실험점 하나를 선택하였다. q=2에서는 직교 정규 효과기저에서 계산한 계층비에 따라 계층벌점 적용 여부를 결정한 뒤 KG를 순차 적용하였다. 선정된 조건에서 얻은 재현시험 결과는 각각 하나의 후속관측으로 반영하였다. 회귀설계행렬과 효과기저의 구성, Ridge 회귀와 GCV 적용방법은 부록 A에 제시하였다.

6. 검증결과

6.1 공개 NIST결과

NIST 검증 결과는 <Table 4>에 제시하였다. 평균 선택손실은 낮을수록 좋고, PCS는 실제 최적조건을 맞힌 비율이므로 높을수록 좋다. q=1에서 RACE-HC는 RepeatBest와 Sparse-KG보다 각각 6.62%, 8.65% 낮은 평균 선택손실을 보였다. 반응표 단위 재분석에서는 자료별 차이가 존재 하였으므로, q=1 결과는 모든 반응표에서의 일괄적 우월 성보다는 평균 선택손실 개선 경향으로 해석하였다.

q=2에서도 RACE-HC는 Sparse-KG와 Adaptive Top-Two보다 각각 2.88%, 12.94% 낮은 평균 선택손실을 보였다. 특히 Adaptive Top-Two 대비 차이는 반응표 단위 재분석에서도 확인되었다. 따라서 RACE-HC는 q=1과 q=2 모두에서 주요 비교군보다 낮은 평균 선택손실을 보였다.

6.2 q=1 광범위 강건성 검증과 q=2 별도 공개 검증

q=1 광범위 강건성 검증에서 RACE-HC는 RepeatBest보다 9.15%, Sparse-KG보다 5.77% 낮은 평균 선택손실을 보였고, PCS도 가장 높았다. 이는 희소효과형, 조밀효과형, 급변형, 국소 피크형 등 다양한 반응면 유형에서 RACE-HC의 평균 성능 방향이 유지됨을 보여준다.

q=2 별도 공개 검증에서도 RACE-HC는 Sparse-KG보다 1.73%, TopTwo보다 4.44% 낮은 평균 선택손실을 보였다. 이는 NIST 검증에서 관찰된 성능 방향이 별도 공개 반응표에서도 유지되었음을 보여준다. 추가 강건성 및 별도 공개 검증 결과는 <Table 5>에 제시하였다.

6.3 검증결과 종합 및 반응표 단위 재분석

네 검증축에서 RACE-HC는 모두 가장 낮은 평균 선택손실을 보였다. 특히 q=2에서는 Adaptive Top-Two 대비 개선이 반응표 단위 재분석에서도 확인되었다. 반응표 단 위 재분석은 군집 수 확대로 인한 과도한 유의성 해석을 방지하기 위한 보수적 점검으로 사용하였다. 따라서 본 연구는 단일 반응표나 특정 잡음조건에 맞춘 정책이 아니라, q=1에서는 엄격 순위인증, q=2에서는 계층인증을 통해 구조 오신뢰를 제한하는 재현 가능한 저예산 후속실험 절차를 제시한다.

6.4 워터밸브 채터링 개선 사례

초기 L9 스크리닝에서 조건 6과 조건 8은 모두 0/20으로 관측되어 단순 불량수만으로는 우선순위를 구분할 수 없었다. 이에 L9 설계특성을 반영한 RACE-HC 확장을 적용하였다. q=1의 LOCO 검증에서 설명력은 0.108, TopScore는 0.938로 순위인증을 통과하였으며, KG가 가장 큰 조건 8이 후속실험점으로 선정되었다.

q=2의 계층비는 0.718로 기준 0.37을 초과하였다. 따라서 이 사례에서는 1차 효과 우세가 확인되지 않은 것으로 판단하여 계층벌점을 적용하지 않고 희소효과 사후분포에서 순차 KG를 계산하였다. 첫 번째 후속실험점은 조건 8이었으며, 조건 8의 재현시험 결과인 0/600을 반영한 뒤 두 번째 후속실험점으로 조건 6이 선정되었다.

조건 6의 재현시험 결과인 3/600까지 반영한 최종 추천 조건은 조건 8이었다. 조건 8의 선택손실은 0이고 조건 6의 선택손실은 0.005이므로, 조건 8을 최종 적용조건으로 선정하였다. L9 스크리닝과 RACE-HC의 선택결과는 <Table 6>에, 재현시험 결과는 <Table 7>에 제시하였다.

7. 논의 및 결론

7.1 방법론적 의의

첫째, 모형 적합도와 최종 의사결정 목적을 분리하였다. q=1의 TopScore는 전체 예측오차보다 관측 상위조건의 순위복원에 초점을 맞춘다. 둘째, q=1의 LOCO 예측에서는 제외된 조건의 반응값이 모형선택과 예측에 사용되지 않도록 각 fold 안에서 모형선택과 재적합을 수행하였다. 셋째, 모든 비교정책에 동일한 초기관측과 후속관측을 제공하여 정책 간 차이가 잡음 차이가 아니라 의사결정 차이에 서 나오도록 하였다.

7.2 제한점과 향후연구

본 연구는 연속형 반응과 사전에 정의된 후보조건을 중심으로 RACE-HC를 검증하였다. 3수준 이상의 정량인자는 직교다항 대비로 처리할 수 있으나, 부분실시 설계, 혼 합수준 인자, 명목형 인자 및 계수형 반응에는 설계 특성에 맞는 효과기저와 관측모형이 필요하다. 또한 공개 반응표에 부가한 오차유형은 실제 공정의 시간 변화, 배치 효과 및 측정시스템 변동을 모두 대체하지 않는다. 향후 연 구에서는 이러한 자료구조와 공정변동을 포함한 산업실험으로 적용범위를 확장하고, 계층비 기준과 log-odds 벌점 조합의 민감도를 다양한 설계와 오차구조에서 추가로 검증할 필요가 있다.

7.3 결론

본 연구는 반복 없는 요인실험 이후 후속예산이 q=1 또는 q=2일 때 다음 실험점을 선택하는 RACE-HC를 제안하였다. q=1에서는 LOCO 기반 순위인증 결과에 따라 현재 관측 1등을 재확인하거나 KG로 후속실험점을 선택하고, q=2에서는 계층인증 결과에 따라 계층축소 적용 여부를 결정한 뒤 KG를 순차적으로 적용하였다. 공개 반응표 검 증에서 RACE-HC는 주요 비교군보다 낮은 평균 정규화 선택손실을 보였다. 워터밸브 사례에서도 조건 8이 우선 확인조건으로 도출되었고, 재현시험 결과 최종 적용조건으로 선정되었다. RACE-HC는 구조모형을 무조건 신뢰하지 않고 예산별 인증을 거쳐 후속실험 의사결정에 활용한 다는 데 의의가 있다.

Figure

<Figure 1>.

Integrated procedure of RACE-HC for q=1 and q=2

Table

<Table 1>.

Comparison of follow-up design approaches and RACE-HC

Approach	Core Principle	Strength	Limitation in This Problem
Repeat Best	Repeat the Currently observed best condition	Simple and robust	Does not use structural information from other conditions
Adaptive Top-Two	Confirm the two leading competing conditions	Strong discrimination for q=2	Does not explore structurally promising conditions outside the observed top ranks
Sparse- KG	Exchangeable spike-and-slab effect prior with KG	Efficient under sparse-effect structures	May overborrow information when the assumed structure is incorrect
RACE- HC	KG after budget-specific rank and hierarchy certification	Aligns structural evidence with the final decision objective	Requires design-specific effect bases and observation models for fractional or binary-response settings

<Table 2>.

Budget-specific Procedure of RACE-HC

Stage	q=1	q=2
1	Perform LOCO prediction by excluding each condition in turn	Transform the initial data into the effect space
2	Compute RLOCO2 and TopScore	Compute the hierarchy ratio CH
3	Repeat the current best condition if certification fails	Apply hierarchy shrinkage if certification passes
4	Select the point with the largest KG if certification passes	Select the first point with the largest KG
5	Update with the follow-up result and recommend the final condition	Update after the first result and select the second point with the largest KG
6	-	Recommend the final condition after the second result

<Table 3>.

Validation Settings and Baselines

Validation Axis	Data and Structure	Scale and Baselines
q=1 NIST Validation	9 two-level factorial tables; 6 error distributions × 3 magnitudes	4,860 CRN comparisons; RepeatBest, Sparse-KG, HC-Pure
q=1 Robustness Validation	6 factorial designs (K=9-64); 16 response-surface types	3,456 CRN comparisons; same q=1 baselines
q=2 NIST Validation	9 NIST tables; 6 error distributions × 3 magnitudes	9,720 CRN comparisons: Sparse-KG, Adaptive Top-Two
q=2 Separate Public Validation	BOXPILOT, BOXSOLAR, BOXREACT	3,240 CRN comparisons: Sparse-KG, TopTwo
Common Protocol	One initial observation per cell; common random numbers	True means used only for scoring; normalized selection loss and PCS
Reproducibility Check	Code, seeds, raw results, and checksums	Reproducibility package; smoke and leakage tests

<Table 4>.

Mean Normalized Selection Loss and PCS in the NIST Validation

q	Policy	Selection Loss	PCS
1	RACE-HC	0.047197	0.636831
1	RepeatBest	0.050545	0.607819
1	Sparse-KG	0.051664	0.596296
2	RACE-HC	0.038585	0.666770
2	Sparse-KG	0.039729	0.656173
2	Adaptive Top-Two	0.044320	0.634774

<Table 5>.

Mean Normalized Selection Loss and PCS in Additional Validation

Validation Axis	Policy	Selection Loss	PCS
q=1	RACE-HC	0.049340	0.687500
q=1	Sparse-KG	0.052361	0.648148
q=1	RepeatBest	0.054307	0.656829
q=2	RACE-HC	0.041251	0.566975
q=2	Sparse-KG	0.041978	0.554012
q=2	TopTwo	0.043169	0.544753

<Table 6>.

Water-Valve L9 Screening Results and RACE-HC Selections

Cond	Hole	Holder SG	Diaph. SG	Defects (d/n)	Y	q=1	q=2
1	1.0	1.41	1.85	2/20	2.001	-	-
2	1.0	1.06	0.86	2/20	2.001	-	-
3	1.0	1.24	1.00	6/20	0.802	-	-
4	0.7	1.41	0.86	4/20	1.299	-	-
5	0.7	1.06	1.00	6/20	0.802	-	-
6	0.7	1.24	1.85	0/20	3.714	-	2nd
7	1.0	1.41	1.00	10/20	0.000	-	-
8	1.0	1.06	1.85	0/20	3.714	Selected	1st
9	1.0	1.24	0.86	2/20	2.001	-	-

<Table 7>.

Confirmation Test Results and Selection Loss for Conditions 6 and 8

Cond	Confirmation Result	Observed Defect Rate	Selection Loss	Final Decision
6	3/600	0.0050	0.0050	Backup Candidate
8	0/600	0.0000	0.0000	Final Operating Condition

Reference

Box, G.E.P. and Meyer, R.D., An Analysis for Unreplicated Fractional Factorials, Technometrics, 1986, Vol. 28, No. 1, pp. 11-18. DOI:
Lenth, R.V., Quick and Easy Analysis of Unreplicated Factorials, Technometrics, 1989, Vol. 31, No. 4, pp. 469-473. DOI:
Hamada, M. and Balakrishnan, N., Analyzing Unreplicated Factorial Experiments: A Review with Some New Proposals, Statistica Sinica, 1998, Vol. 8, No. 1, pp. 1-41.
Meyer, R.D., Steinberg, D.M., and Box, G.E.P., “Follow-Up Designs to Resolve Confounding in Multifactor Experiments, Technometrics, 1996, Vol. 38, No. 4, pp. 303-313. DOI:
Stevens, N.T. and Anderson-Cook, C.M., Design and Analysis of Confirmation Experiments, Journal ofQuality Technology, 2019, Vol. 51, No. 2, pp. 109-124. DOI:
Chaloner, K. and Verdinelli, I., Bayesian Experimental Design: A Review, Statistical Science, 1995, Vol. 10, No. 3, pp. 273-304. DOI:
Frazier, P.I., Powell, W.B., and Dayanik, S., A Knowledge-Gradient Policy for Sequential Information Collection, SIAM Journal on Control and Optimization, 2008, Vol. 47, No. 5, pp. 2410-2439. DOI:
Frazier, P.I., Powell, W.B., and Dayanik, S., The Knowledge-Gradient Policy for Correlated Normal Beliefs, INFORMS Journal on Computing, 2009, Vol. 21, No. 4, pp. 599-613. DOI:
Russo, D., Simple Bayesian Algorithms for Best-Arm Identification, Operations Research, 2020, Vol. 68, No. 6, pp. 1625-1647. DOI:
George, E.I. and McCulloch, R.E., Variable Selection via Gibbs Sampling, Journal of the American StatisticalAssociation, 1993, Vol. 88, No. 423, pp. 881-889. DOI:
Chipman, H.A., Bayesian Variable Selection with Related Predictors, Canadian Journal of Statistics, 1996, Vol. 24, No. 1, pp. 17-36. DOI:
Chipman, H., Hamada, M., and Wu, C.F.J., A Bayesian Variable Selection Approach for Analyzing Designed Experiments with Complex Aliasing, Technometrics, 1997, Vol. 39, No. 4, pp. 372-381.
Hurvich, C.M. and Tsai, C.-L., Regression and Time Series Model Selection in Small Samples, Biometrika, 1989, Vol. 76, No. 2, pp. 297-307. DOI:
Hoeting, J.A., Madigan, D., Raftery, A.E., and Volinsky, C.T., Bayesian Model Averaging: A Tutorial, StatisticalScience, 1999, Vol. 14, No. 4, pp. 382-417. DOI:
Yao, Y., Vehtari, A., Simpson, D., and Gelman, A., Using Stacking to Average Bayesian Predictive Distributions, Bayesian Analysis, 2018, Vol. 13, No. 3, pp. 917-1007. DOI:
National Institute of Standards and Technology, Dataplot Data Sets, Information Technology Laboratory, accessed 2026-06-23.