Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.49 No.2 pp.50-61
DOI : https://doi.org/10.11627/jksie.2026.49.2.050

Analysis of Evaluation Factors for Semiconductor Material Suppliers Based on the Baldrige Framework

Won Duk Jung^*

, Dong Hyun Baek^**†

^*Department of Management Consulting, Graduate School of Hanyang University
^**Division of Business Administration, Hanyang University ERICA

^†Corresponding Author : estarbaek@hanyang.ac.kr

Received 27/04/2026 Finally Revised 10/05/2026 Accepted 12/05/2026

Abstract

This study develops and prioritizes a Baldrige-based evaluation structure for semiconductor material suppliers using an integrated Delphi method and Analytic Hierarchy Process (AHP) approach. Rather than treating AHP as an isolated mathematical procedure, the study positions it as a practical weighting tool within a broader model-development process. First, the seven-category Baldrige framework and prior supplier-evaluation studies were reviewed to derive candidate domains and items. Next, a first-round Delphi survey identified core industry-specific domains, and a second-round Delphi survey verified the importance and adequacy of the structured items. Finally, AHP was applied to calculate the relative priorities of the validated factors. The results show that customer-related factors received the highest weight, followed by workforce and measurement, analysis, and knowledge management factors. In the global ranking, customer quality issue response system, customer satisfaction and voice of customer (VOC) management, response to customer requirements, securing specialized experts, and root-cause analysis and improvement were identified as the most important factors. Additional analysis based on stricter consistency-ratio thresholds confirmed that the overall priority structure remained stable. These findings suggest that semiconductor material supplier evaluation should move beyond a conventional quality-cost-delivery (QCD) perspective and incorporate customer responsiveness, data-driven management, workforce capability, and operational stability in an integrated manner. The study contributes by translating the Baldrige framework into an industry-specific evaluation structure and by providing a practical weighting basis for supplier assessment.

Key Words : Baldrige Framework , Delphi Method , Analytic Hierarchy Process , Semiconductor Material Supplier , Supplier Evaluation

말콤볼드리지 모형 기반 반도체 소재 협력기업 평가요인 분석

정원덕^*, 백동현^**†

^*한양대학교 일반대학원 경영컨설팅학과
^**한양대학교 ERICA 경상대학 경영학부

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

반도체 소재 협력기업 평가는 일반 제조업 공급업체 평가보다 높은 수준의 품질 안정성, 고객 대응, 공정 적합성, 그리고 공급 연속성을 동시에 요구한다. 반도체 공급망에서 협력기업의 역량은 단순 거래 조건이 아니라 최종 수율, 승인 유지, 라인 안정성, 고객 신뢰에 직접 연결되는 전략적 관리 대상으로 이해되어야 한다[7, 12].

그럼에도 공급업체 평가는 오랫동안 품질, 가격, 납기(QCD: Quality, Cost, Delivery) 중심으로 전개되어왔으며, 이후 다기준 의사결정과 전략적 소싱 관점으로 점차 확장되었다[5, 6, 20, 21]. 최근 공급업체 평가 연구는 환경, 리스크, 장기 파트너십, 데이터 기반 관리와 같은 정성적 요소를 함께 고려하는 방향으로 발전하고 있다[5, 6, 20].

반도체 소재 협력기업의 경우 이러한 일반 공급업체 평가 기준에 더하여 고객 품질 이슈 대응 체계, 분석․평가 인프라의 신뢰성, 변경․변동 관리, 공급 안정성, 그리고 반도체 공정 이해도와 같은 산업 특화 항목을 함께 반영할 필요가 있다. 따라서 일반 제조업 공급업체 평가 프레임을 그대로 적용하기보다 반도체 소재 산업의 구조적 특성을 반영한 별도의 평가 요인 체계가 필요하다[7, 12].

말콤볼드리지 프레임워크(Malcolm Baldrige Framework)는 리더십(Leadership), 전략(Strategy), 고객(Customers), 측정․분석․지식관리(Measurement․Analysis․Knowledge Management), 인적자원(Workforce), 운영(Operations), 성과(Results)라는 7개 범주를 통해 조직 역량과 결과를 통합적으로 진단하는 대표적 품질․경영 프레임워크이다. 이 프레임워크는 기능별 분절 평가를 넘어 조직 역량과 성과를 연결한다는 점에서 반도체 소재 협력기업과 같이 복합적 역량이 요구되는 평가대상을 구조화하는 상위 틀로 적합하다[16, 19].

한편 평가 요인 개발 연구에서는 특정 산업의 특수성을 반영하기 위해 델파이 기법(Delphi method, 이하 델파이)을 통해 평가 항목을 탐색․정제하고, 계층분석법(AHP: Analytic Hierarchy Process, 이하 AHP)을 통해 상대적 중요도를 산정하는 단계적 접근이 널리 활용되고 있다. 최근 국내외의 평가 모형 개발 연구도 델파이 기법과 AHP를 결합하여 개념적 합의와 계량적 우선순위 분석을 동시에 확보하는 흐름을 보이고 있다[8, 9, 11, 14, 15, 17, 22].

본 연구는 이러한 문제의식에 기반하여 말콤볼드리지 7개 범주를 상위 구조로 채택하고, 반도체 제조기업 및 소재 협력기업 전문가를 대상으로 1차 개방형 델파이 조사, 2차 구조화 델파이 조사, AHP 조사를 수행하여 반도체 소재 협력기업의 평가 요인을 도출하고 우선순위를 분석하고자 한다. 본 논문의 목적은 첫째, 반도체 소재 협력기업 평가를 위한 핵심 평가 요인을 체계적으로 도출하는 것, 둘째, 전문가 합의를 통해 문항의 중요도와 타당성을 검증하는 것, 셋째, AHP 분석을 통해 상위영역 및 대표 하위항목의 상대적 중요도를 제시하는 것이다.

학술적으로 본 연구는 공급업체 평가, 품질경영, 기술협력 성과 진단, 델파이-AHP 통합설계 연구를 반도체 소재 협력기업이라는 구체적인 산업 분야에 접목한다는 점에서 의의를 갖는다. 실무적으로는 소재 승인, 신규 협력기업 진입, 정기 재평가, 공급 리스크 진단, 개발 협업 파트너 선정에 활용 가능한 평가 요인 체계를 제시한다[5, 6, 7, 12].

2. 이론적 배경 및 선행 연구

2.1 핵심 개념 및 평가영역의 정의

본 연구에서 사용한 핵심 개념은 다음과 같이 정의한다. 반도체 소재 협력기업은 반도체 제조공정에 투입되는 소재를 공급하며 수율, 라인 안정성, 고객 승인 유지, 오염 관리 및 공급 연속성에 직접 영향을 미치는 공급기업을 뜻한다. 협력기업 평가는 품질․가격․납기 중심의 전통적 기준을 넘어 기술 역량, 고객 대응, 분석 인프라, 공정관리, 리스크 대응, 성과를 종합적으로 판단하는 다기준 평가를 의미한다. 또한 델파이 기법은 전문가의 반복적 의견 수렴을 통해 평가 항목을 탐색․정련하는 절차이고, AHP는 계층화된 항목 간 상대적 중요도를 쌍대비교를 통해 계량화하는 방법이다. 종합 가중치는 상위계층 가중치와 하위계층 가중치를 결합한 값이며, 민감도 분석은 개별 응답자의 상위계층 일관성비율(CR: Consistency Ratio)을 달리 적용한 하위집단 재분석을 통해 우선순위의 안정성을 검토하는 절차를 의미한다[8, 15, 16, 18].

아울러 본 연구에서는 말콤볼드리지 7개 평가영역을 반도체 소재 협력기업 평가 맥락에 맞추어 다음과 같이 정의하였다. 리더십은 최고경영자의 품질․안전경영 의지와 윤리적 거버넌스, 전략은 기술로드맵․공급안정화․리스크 대응 방향, 고객은 고객 요구사항․승인․감사(Audit) 대응 및 불만 처리 역량, 측정․분석․지식관리는 분석 인프라의 신뢰성과 데이터 기반 의사결정, 인적자원은 기술․품질․분석 전문인력의 확보와 육성, 운영은 공정관리․오염통제․변경관리․공급 실행력, 성과는 품질․승인 유지․납기․원가․고객신뢰 성과를 의미한다[16].

2.2 말콤볼드리지 모형과 반도체 소재 협력기업 평가

말콤볼드리지 프레임워크는 조직의 리더십과 전략이 고객, 운영, 인적자원, 측정․분석 체계를 통해 성과로 연결된다는 인과적 관점을 전제로 한다. 이 때문에 프레임워크의 활용 목적은 단순한 사후 점수 평가가 아니라 조직 역량의 결핍과 개선 우선순위를 구조적으로 식별하는 데 있다[16].

최근 미국 국립표준기술연구소(NIST: National Institute of Standards and Technology, 이하 NIST)의 2023-2024 Baldrige Excellence Builder 역시 리더십(Leadership), 전략(Strategy), 고객(Customers), 측정․분석․지식관리(Measurement, Analysis, and Knowledge Management), 인적자원(Workforce), 운영(Operations), 성과(Results)의 7개 범주를 핵심 구조로 제시하고 있다[16]. 말콤볼드리지 프레임워크는 <Figure 1>과 같이 조직의 방향 설정, 실행 역량, 데이터 기반 관리 및 성과 집합이 아니라 조직역량과 성과를 연결하는 상위 평가틀로 활용될 수 있음을 의미한다.

품질경영 시스템 연구에서도 말콤볼드리지 모델은 국제표준화기구(ISO: International Organization for Standardization)의 ISO 9001 품질경영시스템과 유럽품질경영재단(EFQM: European Foundation for Quality Management) 모형과 함께 전사적 품질 진단의 핵심 구조로 이해되어 왔으며, 다양한 산업 영역에서 조직 특성에 맞는 통합 모형 혹은 응용 평가 모형으로 변환되어 활용되었다[19]. 이러한 전환 가능성은 반도체 소재 협력기업 평가에도 중요한 시사점을 제공한다.

특히 반도체 소재 협력기업은 개별 제품 성능만으로 평가하기 어렵고, 고객사 승인 대응, 분석 신뢰성, 공정 변동 통제, 인력 전문성, 공급 연속성 등 다차원 역량을 종합적으로 검토해야 한다. 말콤볼드리지의 7개 범주는 이러한 다차원 역량을 상위 구조로 분류하는 데 유용하며, 후속 단계에서 산업 특화 세부 문항으로 확장하기 용이하다[12, 16].

본 연구는 시스템 관점을 반도체 소재 협력기업 평가 맥락에 적용하기 위해, 말콤볼드리지의 주요 구성요소를 고객 기술 로드맵 정렬, 전문인력 및 공정 운영 역량, 데이터 기반 추적성과 분석 신뢰성의 관점으로 재해석하였다. 그 구체적인 방향은 <Table 1>과 같다.

요약하면 본 연구는 최신 말콤볼드리지 기준을 반도체 소재 협력기업 평가의 상위 구조로 채택하되, 이를 반도체 소재 협력기업 평가 맥락에 맞추어 조작화하였다. 이에 따라 후속 델파이 기법은 반도체 소재 협력기업에 필요한 산업 특화 평가 항목을 도출, 정제하는 절차에 활용되며, AHP 분석은 정제된 평가 항목의 상대적 중요도와 우선순위를 산정하는 절차로 활용된다. 일반적 공급업체 평가가 아니라 산업 특화 다기준 평가구조를 전제로 수행되었다[16].

2.3 공급업체 평가 연구의 전개와 한계

공급업체 평가 연구는 전통적으로 품질, 가격, 납기와 같은 운영 지표를 중심으로 시작되었으나, 공급망의 복잡성이 증가하면서 전략적 적합성, 개발 역량, 환경 대응, 장기 파트너십, 공급 리스크와 같은 요소를 포함하는 다기준 평가로 발전하였다[6, 21].

Weber 등은 공급업체 평가 연구가 단일 기준이 아닌 복수 기준을 다루는 방향으로 축적되었음을 보여주었고, Ho 등은 2000년대 이후 공급업체 평가․선정에서 계층분석법(AHP: Analytic Hierarchy Process), 분석적 네트워크 과정(ANP: Analytic Network Process), 자료포락분석(DEA: Data Envelopment Analysis), 퍼지이론, 수리계획법 등 다양한 다기준 접근이 활용되었다고 정리하였다[6, 21]. Handfield 등은 환경 기준을 공급업체 평가에 포함해야 한다고 주장하며 AHP를 통해 정성적 기준도 구조화할 수 있음을 보였다[5].

전략적 소싱 관점의 연구는 공급업체 평가가 단순 납품능력 판별을 넘어 장기 파트너십 구축, 벤치마킹, 공급자 개발, 공급망 재편과 연결된다고 보았다. Talluri와 Narasimhan은 공급업체의 전략적․운영적 역량을 함께 고려하는 틀을 제시함으로써 공급자 평가를 경영적 의사결정 차원으로 확장하였다[20].

그러나 이러한 연구들은 주로 일반 제조업 또는 범산업적 공급업체를 대상으로 수행되었기 때문에 반도체 소재 산업의 특수성을 충분히 반영하지 못한다. 예컨대 초고순도․오염관리, 고객 승인․감사 대응, 분석 인프라 신뢰성, 변경 관리, 공정 적합성, 양산 연속성 같은 항목은 일반 공급업체 평가 모형에서는 주변적 요소로 처리되거나 아예 명시되지 않는 경우가 많다[5, 6].

국내 반도체 관련 선행 연구로는 홍종락의 연구가 한국 반도체 조립기업 협력업체 평가 모형을 AHP 중심으로 제시하였고, 이장훈의 연구가 볼드리지 프레임을 활용하여 기술협력 성과 진단 모형을 개발하였다. 이들 연구는 각각 반도체 협력업체 평가와 볼드리지 기반 진단모형 설계 측면에서 중요한 기반을 제공하지만, 반도체 소재 협력기업을 대상으로 산업특화 요인을 반영한 델파이-AHP 기반 평가요인 구조를 제시하지는 못했다[7, 12].

2.4 델파이 기법과 AHP 통합 접근의 타당성

델파이는 전문가 집단의 익명성, 반복성, 피드백을 활용해 합의를 도출하는 대표적인 전문가 조사 기법이다. 특히 사전에 구조화된 측정 항목이 충분하지 않거나 실무경험 기반 요소를 체계화해야 하는 경우에 유용하다[8, 15, 17].

Okoli와 Pawlowski는 델파이 연구에서 패널 선정 논리, 라운드 설계, 종료 기준, 결과 해석의 엄밀성이 중요하다고 보았고, Hsu와 Sandford는 합의도와 수렴도 개념을 통해 델파이 결과를 객관적으로 해석할 수 있음을 제시하였다[8, 17]. 본 연구는 이러한 방법론적 논의에 따라 패널 전문성, 문항 유지 기준, 타당도와 합의도 해석을 명시하였다.

AHP는 복잡한 의사결정 문제를 계층구조로 분해한 후 쌍대비교를 통해 가중치를 산출하는 대표적 다기준 의사결정 기법이다. Saaty는 AHP의 핵심을 계층화, 쌍대 비교, 고유치 기반 우선순위 산정, 일관성비율(Consistency Ratio) 검증으로 설명하였다[18].

다만 AHP는 비교 항목 수가 많아질수록 응답 부담이 급격히 증가하고 일관성이 저하될 수 있다. 이에 따라 최근 평가 모형 연구는 델파이 단계에서 전체 후보 항목을 도출․정제한 뒤, AHP 단계에서는 대표성이 높은 핵심 항목으로 압축하여 계층화하는 설계를 주로 채택한다[9, 11, 14, 22].

실제로 성능평가 체계 개발, 기술 가치 평가, 운영평가, 창업역량 분석 연구들은 델파이를 통해 문항과 범주를 정련한 후 AHP로 우선순위를 산정하여 개념적 타당성과 계량적 명확성을 함께 확보하였다[9, 11, 14, 22].

본 연구 역시 이와 동일한 원리를 반도체 소재 협력기업 평가에 적용하였다.

또한 협력관계 평가에서는 정량 지표만으로 설명하기 어려운 리더십, 조직문화, 고객 대응력, 전략적 리스크 대응과 같은 정성적 요인이 중요하므로 퍼지 AHP나 통합형 AHP 접근이 활용되기도 한다. 이는 구매자-공급자 관계 평가에서 정성적 판단을 구조화하는 것이 현실적인 대안임을 보여준다[10].

2.5 선행연구 대비 본 연구의 차별성

첫째, 본 연구는 일반 공급업체 평가 요인 연구를 반도체 소재 산업 맥락으로 재해석하였다. 반도체 소재 협력기업은 초고순도, 오염통제, 고객 승인 유지, 분석 인프라 신뢰성, 공정 안정성 등 일반 제조업과 구분되는 특수 요인을 갖는데, 본 연구는 이를 델파이 개방형 응답과 문헌 근거를 결합하여 구조화하였다[5, 6, 7].

둘째, 본 연구는 말콤볼드리지 7개 범주를 상위 구조로 사용하여 평가 요인을 전사적 역량 체계로 배열하였다. 이는 공급업체 평가를 단순한 거래 지표가 아닌 조직 역량 평가로 확장한다는 점에서 의미가 있다[12, 16, 19].

셋째, 본 연구는 1차 델파이-2차 델파이-AHP 분석-민감도 분석(CR 기준별 추가 분석)의 순차적 설계를 통해 평가 요인의 합의 형성, 계층화, 중요도 산정, 결과의 안정성 검토를 함께 제시하였다. 이는 단순 델파이 연구나 단순 AHP 연구보다 절차적 엄밀성이 높다[8, 9, 11, 14, 17, 18, 22].

3. 연구설계

3.1 연구절차와 분석구조

본 연구는 문헌연구, 1차 델파이 조사, 2차 델파이 조사, AHP 조사 및 민감도 분석(CR 기준별 추가 분석)의 순서로 수행되었다. <Figure 2>와 같이 문헌 연구 단계에서는 공급업체 평가, 품질경영, 말콤볼드리지 프레임워크, 델파이 및 AHP 방법론 연구를 중심으로 관련 선행 연구를 검토하여 초기 평가 항목 후보를 정리하였다. 이후 1차 델파이 조사에서 개방형 자유 응답을 통해 반도체 소재 산업 특화 요인을 탐색하였고, 2차 델파이 조사에서는 구조화 문항의 중요도와 유지 여부를 검증했으며, 마지막으로 AHP 분석을 통해 상위영역 및 대표 하위항목의 상대적 중요도를 산정하였다[6, 15, 16, 18].

3.2 전문가 패널의 적격성 및 익명성

본 연구의 데이터 신뢰성을 확보하기 위해 구성된 전문가 패널은 엄격한 적격성 기준과 보안 기준을 동시에 충족하도록 <Table 2>와 같이 설계되었다.

<Table 2>와 같이 1차 델파이 조사는 15명, 2차 델파이 조사와 AHP 조사는 16명의 전문가를 대상으로 수행되었다. 본 연구는 반도체 제조기업이 소재 협력기업을 실제로 평가하는 기준을 도출하는 데 목적이 있었으므로, 평가 주체인 제조기업 실무전문가를 중심으로 목적표집을 적용하였다. 이에 따라 1차 델파이에서 제조기업 전문가 14명과 소재 협력기업 전문가 1명이 참여하여 제조기업 관점의 비중이 상대적으로 높게 반영되었으며, 이는 공급자 관점의 대표성에 일정한 제약으로 작용할 수 있다. 다만 1차 및 2차 델파이에 포함된 소재 협력기업 패널은 모두 과거 반도체 제조기업에서 소재기술․개발․품질관리 업무를 수행한 후 소재 협력기업으로 이동한 전문가들로, 제조기업과 소재 협력기업 양측의 실무경험을 동시에 보유하고 있었다. 따라서 이들은 공급자 관점의 순수 대표성을 직접 대변하기보다는, 평가 기준의 실행 가능성과 현장 적합성을 점검하는 보완적 역할을 수행하였다. 또한 패널 규모는 델파이 및 AHP 연구에서 일반적으로 활용되는 전문가 표집 범위에 해당하나, 결과의 일반화에는 한계가 있으므로 향후 연구에서는 소재 협력기업 패널의 비중을 확대하여 제조기업과 소재 협력기업 간 중요도 차이를 비교 검증할 필요가 있다. 패널의 소속 기업명은 산업 보안과 기업 비밀 유지를 고려하여 직접 제시하지 않고 반도체 제조기업 및 소재 협력기업 실무전문가로 범주화하였다[8, 17].

3.3 1차 델파이 설계

1차 델파이 조사는 반도체 소재 협력기업 평가 시 중요하다고 판단되는 핵심 영역과 세부 요인을 자유롭게 기술하도록 설계하였다. 질문은 말콤볼드리지 7개 범주를 참조하되, 응답자가 범주에 얽매이지 않고 반도체 소재 산업의 특수 요소를 제시할 수 있도록 개방형으로 구성하였다. 이러한 방식은 초기 항목 도출 단계에서 실무자 지식을 충분히 포착하는 데 유리하다[15, 17].

자유 응답 자료는 의미 유사성에 따라 통합하고 재분류하였다. 예를 들어 ‘고객사 대응’, ‘고객 요구사항 반영’, ‘피드백 속도’는 고객 대응력으로 통합하였고, ‘품질분석 신뢰성’, ‘검출한계’, ‘평가 인프라’는 분석․평가 인프라 범주로 묶었다. 이후 문헌 검토 결과와 대조하여 37개 후보 요인을 정리하였다.

3.4 2차 델파이 설계와 분석 기준

2차 델파이 조사는 1차 델파이 조사와 문헌 연구 결과를 반영하여 33개 구조화 문항으로 설계하였다. 각 문항은 5점 리커트(Likert) 척도(1=전혀 중요하지 않다, 5=매우 중요하다)로 중요도를 측정하고, 별도의 의견란을 두어 유지․수정․삭제․추가 의견을 수집하였다[8, 17].

델파이 단계의 주요 통계량은 평균과 내용 타당도비율(CVR: Content Validity Ratio)을 중심으로 산정하였다. 각 문항의 평균 중요도는 다음과 같다.

Mean = \frac{\sum x_{i}}{n}

여기서 $x_{i}$ 는 개별 전문가의 중요도 점수이며, $n$ 은 전체 응답자 수이다.

CVR = \frac{n_{e} - \frac{N}{2}}{\frac{N}{2}}

여기서 $n_{e}$ 는 해당 문항을 ‘중요하다’고 평가한 전문가 수이며, $N$ 은 전체 전문가 수이다. CVR 값이 기준치 이상이면 해당 문항의 내용타당성이 확보된 것으로 판단하였다.

문항 유지 여부는 중앙값 4 이상, IQR 1 이하, CVR 기준치 이상을 충족하는 지로 판단하였다. 16명 패널의 CVR 기준값은 0.50로 설정하였으며, 신뢰도 검증 결과 Cronbach’s $α$ 는 0.94로 나타나 측정 도구의 내적 일관성이 매우 높은 것으로 확인되었다[8].

33개 문항은 리더십 4문항, 전략 4문항, 고객 4문항, 측정․분석․지식관리 5문항, 인적자원 4문항, 운영 7문항, 성과 5문항으로 구성하였다. 이 분포는 말콤볼드리지 7개 범주를 유지하면서도 반도체 산업 특화 요인을 운영과 측정․분석 범주에 충분히 배치하려는 설계 의도를 반영한다[12, 16].

3.5 AHP 설계와 가중치 산정 방법

AHP 조사는 2차 델파이 조사에서 유지된 문항을 기반으로 <Figure 3>과 같이 설계하였다.

다만 33개 전체 문항을 모두 쌍대비교할 경우 응답 부담이 과도하고 일관성 저하 위험이 높기 때문에, 2차 델파이 조사에서 유지된 33개 항목을 대상으로 각 상위영역의 개념적 대표성, 유사 문항 간 의미 중복 최소화, 제조기업의 평가 실무에서의 활용 가능성, 그리고 쌍대비교 문항 수의 적정성을 종합적으로 고려하여 총 21개 대표 항목을 선정하였다. 구체적으로는 각 영역에서 핵심 개념을 포괄하면서도 서로 중복되지 않는 3개 항목을 추출하여 총 7개 상위영역과 21개 대표 항목으로 계층구조를 단순화하였다. 이러한 설계는 선행 델파이-AHP 연구들에서 일반적으로 채택되는 방식과 부합한다[9, 11, 14, 22].

AHP 가중치 산정 과정에서는 쌍대비교행렬, 우선순위벡터, 일관성지수(CI: Consistency Index), 일관성비율(CR: Consistency Ratio), 종합가중치(global weight)를 다음과 같이 계산하였다.

\begin{matrix} A = (a_{i j}), a_{i j} = \frac{1}{a_{j i}}, a_{i i} = 1 \\ A w = λ_{\max} w \\ CI = \frac{λ_{\max} - n}{n - 1} \\ CR = \frac{CI}{RI} \\ {GW}_{j} = {UW}_{k} \times {LW}_{j} \end{matrix}

여기서 $A$ 는 쌍대비교행렬, $w$ 는 우선순위벡터, $λ_{\max}$ 는 최대고유값, $n$ 은 비교항목 수, $RI$ 는 무작위지수(random index), ${GW}_{j}$ 는 종합가중치(global weight), ${UW}_{k}$ 는 상위계층 가중치, ${LW}_{j}$ 는 하위계층 가중치(local weight)를 의미한다.

본 연구에서는 CR이 0.10 이하인 경우를 원칙적으로 수용하되, 전체 응답 결과와 함께 개별 상위계층 CR 기준을 달리 적용한 하위집단( $CR \leq 0.20$ , $CR \leq 0.10$ )에 대한 민감도 분석(CR 기준별 추가 분석)을 수행하여 결과의 안정성을 검토하였다.

집단 판단행렬은 각 쌍대비교 응답값의 기하평균으로 구성하였고, 행 기하평균법을 이용하여 하위계층 가중치를 산출하였다. 상위계층 가중치와 하위계층 가중치를 곱해 종합가중치를 계산하였으며, 일관성은 전체 판단행렬의 CR과 응답자별 CR을 함께 검토하였다. 전체 상위계층 CR은 0.0096으로 나타났고, 민감도 분석(CR 기준별 추가 분석)을 위해 개별 상위계층 CR이 0.20 이하인 응답( $n = 9$ )과 0.10 이하인 응답( $n = 5$ )을 각각 추출하여 비교하였다[18].

4. 실증분석 결과

4.1 1차 델파이 결과

1차 델파이 자유 응답 분석 결과, <Table 3>과 같이 품질/품질관리 역량과 기술력/개발역량이 각각 12회로 가장 많이 언급되었다. 이는 반도체 소재 협력기업 평가가 단순 구매 가격보다 품질 안정성과 기술 대응력을 중심으로 이루어져야 한다는 현장 인식을 보여준다.

또한 고객 대응력, 인프라, 공급 안정성, 반도체 경험도 반복적으로 언급되어 전통적 QCD 평가를 넘어서는 다차원 평가의 필요성이 확인되었다.

특히 원자료를 살펴보면 ‘피드백 속도와 오픈 수준’, ‘고객사 대응 전략’, ‘데이터 기반 관리’, ‘전문 분석 인력 확보’, ‘고순도 및 오염 관리’, ‘미세 변경 관리’와 같은 표현이 반복되었다. 이는 반도체 소재 협력기업에서 고객과의 기술적 인터페이스, 분석 신뢰성, 변경 관리 체계가 핵심이라는 점을 시사한다.

1차 델파이 결과는 문헌 검토와 결합되어 37개 후보 요인으로 정리되었다. 예컨대 공급업체 평가 연구가 제시해 온 품질, 비용, 납기, 기술 역량, 장기 파트너십, 공급 리스크 기준은 반도체 소재 산업의 고객 승인, 분석 인프라, 고순도․오염 관리, 공정 변동 통제 항목과 연결되면서 보다 구체적인 산업 특화 문항으로 전환되었다[5, 6, 20, 21].

4.2 2차 델파이 결과

2차 델파이 분석 결과는 <Table 4>와 같다.

총 33개 구조화 문항이 모두 유지 기준을 충족하였으며, <Table 4>에는 영역별 평균 중요도와 함께 실제 IQR 및 CVR의 최소값-최대값을 제시하였다. 전체 문항의 평균은 전반적으로 높게 나타났고, IQR은 모두 1 이하, CVR은 모두 기준치 이상으로 확인되어 반도체 소재 협력기업 평가 요인에 대해 전문가 집단이 비교적 명확한 합의를 형성하고 있음을 보여준다[8]. 영역별 평균 중요도는 고객(4.875), 측정․분석․지식관리(4.825), 운영(4.804), 리더십(4.750), 인적자원(4.719), 전략(4.703), 성과(4.575)의 순으로 나타났다.

이는 자유 응답 단계에서 강조된 품질․기술․고객대응․공급 안정성이 구조화된 조사에서도 지속적으로 중요하게 인식되었음을 보여준다.

고객 영역이 가장 높게 나타난 이유는 반도체 소재의 승인 구조가 특정 고객사와 공정 조건에 강하게 의존하기 때문이다. 실제로 고객 요구사항 대응, 고객 품질 이슈 대응 체계, 고객 승인․감사(Audit) 대응과 같은 항목은 단순 서비스 수준이 아니라 매출 유지와 신규 채택의 전제조건에 해당한다.

측정․분석․지식관리와 운영 영역의 높은 중요도는 반도체 소재 평가에서 분석 신뢰성, 데이터 기반 품질관리, 문제 원인 분석, 공정관리, 품질보증, 변경관리, 공급 연속성이 핵심이라는 점을 보여준다. 이는 일반 제조업 공급업체 평가보다 반도체 소재 산업에서 미세 공정적합성과 분석체계가 상대적으로 더 큰 비중을 차지함을 시사한다[3, 15].

상위 중요 문항군을 보면 최고경영자의 품질․안전경영 의지, 고객 품질 이슈 대응 체계, 분석․평가 인프라 및 신뢰성, 변경․변동 관리 등이 가장 높은 평균 중요도를 보였다. 이는 경영진 의지, 고객 대응, 분석 신뢰성, 변경 관리라는 네 축이 반도체 소재 협력기업의 필수 역량으로 인식된다는 의미다.

또한 운영과 측정․분석 영역의 세부 문항들이 상위권에 다수 위치한 것은 반도체 소재 협력기업 평가가 문서화된 제도나 선언적 전략보다도 분석 능력과 현장 실행력에 의해 크게 좌우된다는 점을 보여준다. 이러한 결과는 품질경영 연구에서 상위관리자의 지원과 프로세스 관리, 정보 시스템, 공급자 연계가 핵심 품질관리 차원으로 제시된 논의와도 일정 부분 상응한다[3].

4.3 AHP 상위영역 가중치 분석

AHP 상위영역 가중치 분석 결과, <Table 5>와 같이 고객이 0.2526으로 가장 높았으며, 다음으로 인적자원 0.1542, 측정․분석․지식관리 0.1415, 성과 0.1255, 전략 0.1158, 운영 0.1152, 리더십 0.0951의 순으로 나타났다. 전체 상위계층 CR은 0.0096으로 매우 양호한 수준이었다[18].

주목할 점은 2차 델파이 평균에서는 고객․측정․분석․운영이 상위였고, AHP에서도 고객이 1위를 유지했다는 점이다. 다만 AHP에서는 인적자원과 측정․분석․지식관리의 비중이 성과보다 높게 나타나, 전문가들이 상대적 우선순위를 강제 받는 상황에서 고객 대응 체계와 이를 뒷받침하는 전문인력․분석역량을 보다 본질적인 선행요인으로 인식했음을 보여준다.

이 결과는 반도체 소재 협력기업 평가에서 고객대응, 전문인력, 데이터․원인분석 역량을 핵심 선행평가 축으로 배치하고, 성과 범주는 검증 지표로 결합하는 구조가 타당함을 시사한다. 즉 신규 협력기업 선정에서는 고객 요구 대응성과 내부 역량을 중점적으로 평가하고, 기존 협력기업 정기 평가에서는 품질 성과와 승인 유지 실적을 함께 반영하는 이원적 운영이 실무적으로 적절하다[7, 12, 16].

4.4 대표 하위항목의 하위계층 분석

<Table 6>에 제시한 21개 대표 항목의 하위계층 가중치를 보면 리더십 범주에서는 고객 대응 중심 리더십(0.4408), 전략 범주에서는 공급 안정화․리스크 대응 전략(0.3804), 고객 범주에서는 고객 품질 이슈 대응 체계(0.5277), 측정․분석․지식관리 범주에서는 문제 원인 분석 및 개선(0.3894), 인적자원 범주에서는 전문 인력 확보(0.3746), 운영 범주에서는 공급 안정성 및 생산 연속성(0.3664), 성과 범주에서는 품질성과(0.3833)가 가장 높게 나타났다.

이 결과는 각 상위영역 내부에서 어떤 세부 역량이 상대적으로 더 중요하게 인식되는지를 보여준다. 예를 들어 전략 범주에서 기술․제품 로드맵보다 공급 안정화․리스크 대응 전략이 높게 나타난 것은 최근 반도체 공급망 환경에서 공급 연속성과 리스크 대응이 매우 현실적인 의사결정 기준이 되었음을 의미한다[6, 20].

또한 인적자원 범주에서 전문 인력 확보가 가장 높은 가중치를 보인 것은 반도체 소재 평가가 단지 제도와 프로세스의 존재 여부보다 실제로 이를 운영할 수 있는 경험 인력과 전문 조직의 보유 수준을 중시한다는 뜻이다. 고객 범주에서 고객 품질 이슈 대응 체계가 압도적으로 높은 비중을 보인 점 역시 고객 대응의 속도와 문제해결 체계가 거래 지속성에 결정적임을 시사한다.

4.5 종합가중치 분석

상위계층 가중치와 하위계층 가중치를 결합한 종합 가중치 분석 결과는 <Table 7>과 같다.

고객 품질 이슈 대응 체계(0.1333), 고객 만족 및 고객 VOC 관리(0.0604), 고객 요구사항 대응(0.0589), 전문 인력 확보(0.0578), 문제 원인 분석 및 개선(0.0551)이 상위 5개 항목으로 나타났다. 이어 직무․기술 교육훈련, 데이터 기반 품질관리, 품질성과, 고객만족 및 승인 유지 성과, 공급 안정화․리스크 대응 전략이 상위권을 차지하였다.

이러한 결과는 반도체 소재 협력기업 평가에서 단순한 사후 성과지표보다 고객 대응 체계와 이를 실질적으로 수행할 수 있는 인적․분석 역량이 더 높은 우선순위를 갖는다는 점을 분명히 보여준다. 성과지표 역시 상위권에 위치하지만, 실제 평가 모형 구축 시에는 고객 이슈 대응, 전문 인력, 데이터 기반 품질관리, 원인 분석 역량을 중심축으로 배치하는 것이 보다 타당하다.

본 결과는 반도체 소재 협력기업 평가가 고객 품질 이슈 대응, 고객 VOC 관리, 요구사항 대응과 같은 고객 접점 역량을 최우선에 두고, 이를 뒷받침하는 전문 인력과 문제해결 능력을 핵심 평가 논리로 삼아야 함을 보여준다. 즉 본 연구의 AHP 결과는 평가 모형의 가중치 산정뿐 아니라 평가 체계의 실제 배점 구조를 설계하는 데 직접 활용될 수 있다.

4.6 민감도 분석(CR 기준별 추가 분석)

본 연구에서는 전체 응답 16명을 기준으로 한 분석과 함께, 개별 상위계층 일관성비율(CR) 기준을 달리 적용한 하위집단(CR≤0.20, n=9; CR≤0.10, n=5)에 대한 추가 분석을 수행하였다. 전체 응답 기준 결과와 CR 기준별 하위집단 재분석 결과를 비교한 내용은 <Table 8>과 같다.

<Table 8>에서 확인할 수 있듯이, 세 분석 집단 모두에서 고객 범주는 1위를 유지하였다. CR≤0.20 집단에서는 측정․분석․지식관리와 인적자원이 2~3위를 형성하였고, CR≤0.10 집단에서는 운영이 2위로 상승하였다. 각 하위집단의 상위계층 CR은 각각 0.0084와 0.0086으로 낮게 나타났다.

이러한 CR 기준별 추가 분석에서도 고객 범주의 최상위 지위가 유지되었다는 점은 본 연구의 핵심 결론이 특정 응답자 집단의 일시적 편향에 의해 좌우되지 않음을 보여준다. 다만 중위권에서는 인적자원, 측정․분석․지식관리, 운영 간 순위 교환이 발생하여, 전문가 선별 기준에 따라 내부 역량과 운영 역량의 상대적 배점은 조정될 수 있음을 시사한다. 반면 리더십은 세 분석 집단 모두에서 하위권에 머물러 상대적 우선순위가 낮게 유지되었다.

이와 같은 추가 분석은 AHP 분석 결과의 안정성을 보완적으로 확인한다는 점에서 의미가 있다. 최근 델파이-AHP 연구에서도 최종 가중치와 함께 일관성 기준을 명시하거나 추가적인 안정성 검토를 병행하는 방식이 활용되고 있으며, 본 연구 역시 그러한 보완적 보고 관행을 반영하였다[11, 22].

5. 결 론

5.1 연구결과 요약 및 학문적 시사점

본 연구는 말콤볼드리지 7개 범주를 상위구조로 적용하여 반도체 소재 협력기업의 평가 요인을 도출하고, 델파이 기법과 AHP를 활용하여 그 상대적 중요도를 분석하였다. 1차 델파이 조사에서는 품질․품질관리 역량과 기술․개발역량이 핵심 영역으로 도출되었고, 2차 델파이 조사에서는 고객, 측정․분석․지식관리, 운영 영역의 중요도가 높게 나타났다. AHP 결과에서는 고객 범주가 가장 높은 가중치를 보였으며, 고객 품질 이슈 대응 체계, 고객 만족 및 고객 VOC 관리, 고객 요구사항 대응, 전문 인력 확보, 문제 원인 분석 및 개선이 상위 요인으로 확인되었다. 또한 CR 기준별 추가 분석에서도 고객 범주가 일관되게 최상위로 유지되어, 주요 결과의 안정성이 보완적으로 확인되었다.

본 연구의 첫 번째 학문적 시사점은 공급업체 평가 연구와 품질경영 프레임워크 연구를 반도체 소재 산업 맥락에서 통합했다는 점이다. 공급업체 평가 문헌은 다기준 구조를 강조해 왔지만, 말콤볼드리지 7개 범주를 상위 구조로 삼아 반도체 소재 협력기업의 조직역량과 결과를 함께 다룬 연구는 드물었다. 본 연구는 공급업체 평가를 조직역량 평가로 확장했다는 점에서 이론적 의의를 갖는다[5, 6, 16, 19].

두 번째 시사점은 델파이와 AHP의 기능적 역할을 명확히 구분했다는 점이다. 델파이는 산업특화 문항을 포착하고 정제하는 데, AHP는 항목 간 강제적 우선순위를 부여하는 데 사용되었다. 이 구분을 통해 반도체 소재 협력기업 평가에서 ‘중요한 항목 목록’과 ‘실제 배점 구조’가 반드시 동일하지 않음을 실증적으로 보여주었다[8, 15, 17, 18].

세 번째 시사점은 델파이 평균과 AHP의 가중치가 부분적으로 일치하면서도 강조점이 달랐다는 결과 그 자체에 있다. 델파이에서는 고객․분석․운영이 높았고, AHP에서도 고객이 최상위로 유지되었으나 인적자원과 측정․분석․지식관리의 상대적 비중이 더 크게 나타났다. 이는 전문가가 항목을 독립적으로 볼 때와 상대적 상충관계를 고려해야 하는 상황에서의 판단구조가 다를 수 있음을 보여주며, 향후 평가모형 연구에서 두 결과를 병행 해석해야 함을 시사한다[9, 11, 14, 22].

5.2 실무적 시사점과 한계

실무적으로 본 연구는 반도체 제조기업의 협력기업 선정, 정기 재평가, 공급 리스크 진단, 개발 파트너 선정, 공급자 육성 프로그램 운영에 활용될 수 있는 평가요인 구조를 제공한다. 특히 고객 품질 이슈 대응 체계, 문제 원인 분석 및 개선, 데이터 기반 품질관리, 공급 안정성, 전문 인력 확보가 상위권에 위치한 점은 제조기업이 협력기업 현장 실사와 평가표를 설계할 때 우선 반영해야 할 핵심 영역을 제시한다.

또한 고객, 인적자원, 측정․분석․지식관리 범주의 높은 가중치는 평가 목적에 따른 모형 분리를 요구한다. 신규 진입 협력기업 평가에서는 고객 요구 대응 체계, 전문 인력 확보, 데이터 기반 품질관리 및 원인분석 역량을 상대적으로 높게 반영하고, 기존 거래 협력기업 정기평가에서는 품질성과․승인 유지 성과와 같은 결과 지표를 추가적으로 강화하는 방식이 실무적으로 타당하다.

나아가 2차 델파이에서 상위권에 위치했으나 AHP 분석 대표 항목 압축 과정에서 제외된 항목들, 예를 들어 분석․평가 인프라 및 신뢰성, 고객 승인․감사 대응, 품질․안전 문화 정착, 변경․변동 관리, 표준작업절차(SOP: Standard Operating Procedure) 표준화 및 실행관리 등은 실제 체크리스트 단계에서 반드시 재삽입할 필요가 있다. 즉 AHP는 배점 부여를 위한 대표 항목 구조이고, 최종 현장 점검표는 델파이 유지항목 33개를 기반으로 더 풍부하게 구성되어야 한다. 이러한 이원적 설계는 평가의 실용성과 정밀성을 동시에 높인다[12, 13].

이러한 결과는 공급업체 평가가 비용․품질․납기 중심의 전통적 기준에서 출발했으나 이후 전략적 적합성, 환경, 리스크, 협업역량을 포함하는 다기준 평가로 확장되어왔다는 기존 문헌과도 맥을 같이한다[1, 2, 4].

특히 반도체 소재 산업에서 고객 승인 유지, 오염통제, 분석신뢰성, 공급 연속성이 높은 우선순위를 보인 점은 범산업적 공급업체 평가 연구가 제시한 일반 기준을 산업특화 체계로 재구성할 필요가 있음을 보여준다.

또한 말콤볼드리지 모형의 인과 구조를 검증한 연구들은 리더십과 전략, 프로세스, 측정 체계가 결과로 연결된다는 시스템적 설명을 제시해 왔으며, 본 연구에서 고객․인적자원․측정․분석․지식관리 범주가 상위권에 위치한 결과는 이러한 통합적 진단 논리와도 정합적이다[23].

아울러 AHP 기반 평가모형 연구 역시 계층화와 쌍대비교를 통해 정성적 판단을 실무형 평가도구로 전환할 수 있음을 보고하였으며, 본 연구의 델파이-AHP 설계는 그러한 절차적 장점을 반도체 소재 협력기업 평가에 적용한 사례로 볼 수 있다[24].

본 연구는 반도체 제조기업 및 소재 협력기업의 실무전문가를 대상으로 델파이 조사와 AHP를 수행하였다는 점에서 현장 적합성이 높다. 그러나 표본 수가 제한적이고, 제조기업 실무전문가 중심의 패널 구성이 소재 협력기업 관점의 대표성을 상대적으로 제한한다는 방법론적 한계를 지닌다. 다만 델파이에 포함된 소재 협력기업 패널은 모두 제조기업 경력을 보유한 후 소재 협력기업으로 이동한 전문가들로서, 평가 기준의 실행 가능성과 현장 적합성을 점검하는 보완적 역할을 수행하였다. 또한 본 연구는 대표 항목 중심의 계층구조를 적용하였고, CR 기준별 추가 분석을 통해 결과의 안정성을 검토하였으나, 결과의 일반화에는 신중한 해석이 요구된다. 향후 연구에서는 소재 협력기업 패널의 비중을 확대하여 제조기업과 소재 협력기업 간 중요도 차이를 비교․검증하고, 초미세 공정 전환과 고객 승인 기준 변화에 따라 평가 항목과 가중치의 주기적 재검토 가능성을 포함한 동태적 업데이트 체계를 추가로 검증할 필요가 있다.

Acknowledgements

The author gratefully acknowledges the expert panel members from semiconductor manufacturers and material suppliers for their valuable participation in the Delphi and AHP surveys.

Figure

<Figure 1>.

Baldrige Excellence Framework: A Systems Perspective

Source: Adapted and redrawn by the author based on the NIST Baldrige Excellence Framework (2023).

<Figure 2>.

Integrated Research Methodology and Procedure

<Figure 3>.

Baldrige-Based Evaluation Hierarchy for Semiconductor Material Suppliers

Table

<Table 1>.

Baldrige Systems Perspective Applied to Semiconductor Material Supplier Evaluation

System Perspective	Baldrige Categories	Application to Semiconductor Material Supplier Evaluation
Direction-setting system	Leadership, Strategy, Customers	Alignment of supplier leadership and strategy with customer technology roadmaps, quality requirements, and supply direction
Execution and performance system	Workforce, Operations, Results	Securing specialized workforce, process discipline, operational stability, and quality/supply performance
Data-based management foundation	Measurement, Analysis, and Knowledge Management	Traceability, analytical reliability, change control, root-cause analysis, and knowledge-based improvement

<Table 2>.

Expert Panel Composition and Survey Stages

Stage	n	Panel Composition and Qualification Criteria	Purpose
First-round Delphi	15	14 experts from semiconductor manufacturers and 1 expert from a material supplier; all had at least 10 years of industry experience and direct exposure to supplier approval, audit, quality, process, or purchasing decisions	Exploration of core domains and detailed factors through open-ended responses
Second-round Delphi	16	Practitioner experts from semiconductor manufacturers and material suppliers; minimum qualifications included managerial or senior specialist responsibility and prior experience in supplier evaluation, customer quality response, or material qualification	Validation of the importance and adequacy of 33 structured items
AHP	16	The same or a similar expert panel meeting the above criteria; respondents with unacceptable pairwise inconsistency were excluded from sensitivity checks	Derivation of relative weights for the top-level domains and representative sub-factors

<Table 3>.

Key Domains Identified in the First Delphi Round

Domain	Frequency	Response Ratio (%)
Quality/Quality Management Capability	12	80.0
Technology/Development Capability	12	80.0
Customer Responsiveness/Cooperation	5	33.3
Infrastructure/Facilities/System	5	33.3
Data Management/Traceability	4	26.7
Supply Stability	4	26.7
Workforce Competence	3	20.0
Cost Competitiveness	3	20.0

<Table 4>.

Summary of the Second Delphi Results

Note: IQR (min–max) and CVR (min–max) indicate the minimum and maximum values observed among the retained items within each domain.

Domain	No. of Retained Items	Mean Importance	IQR (min-max)	CVR (min-max)	Retention Result
Leadership	4	4.750	0.00-1.00	0.875-1.000	Retained
Strategy	4	4.703	0.00-1.00	0.875-1.000	Retained
Customers	4	4.875	0.00-0.00	1.000-1.000	Retained
Measurement, Analysis and KM	5	4.825	0.00-0.25	1.000-1.000	Retained
Workforce	4	4.719	0.00-1.00	0.875-1.000	Retained
Operations	7	4.804	0.00-1.00	1.000-1.000	Retained
Results	5	4.575	0.25-1.00	0.750-1.000	Retained
Total	33	-	0.00-1.00	0.750-1.000	All Retained

<Table 5>.

Top-Level Domain Weights from the AHP

Domain	Weight	Rank
Customers	0.2526	1
Workforce	0.1542	2
Measurement, Analysis and Knowledge Management	0.1415	3
Results	0.1255	4
Strategy	0.1158	5
Operations	0.1152	6
Leadership	0.0951	7

<Table 6>.

Local Weights of the 21 Representative Sub-factors

Domain	Representative sub-factor	Local Weight
Leadership	Top management commitment to quality and safety	0.3360
Leadership	Quality-centered organizational culture	0.2233
Leadership	Customer-responsive leadership	0.4408
Strategy	Technology and product roadmap	0.2761
Strategy	Customer response strategy	0.3435
Strategy	Supply stabilization and risk-response strategy	0.3804
Customers	Response to customer requirements	0.2332
Customers	Customer quality issue response system	0.5277
Customers	Customer satisfaction and VOC management	0.2391
Measurement, Analysis and KM	Data-based quality management	0.3491
Measurement, Analysis and KM	Process data analysis system	0.2615
Measurement, Analysis and KM	Root-cause analysis and improvement	0.3894
Workforce	Securing specialized experts	0.3746
Workforce	Job and technical training	0.3413
Workforce	Understanding of semiconductor ecosystem and processes	0.2841
Operations	Process management capability	0.3188
Operations	Quality assurance system	0.3148
Operations	Supply stability and production continuity	0.3664
Results	Quality performance	0.3833
Results	Cost competitiveness	0.2428
Results	Customer satisfaction and approval-retention performance	0.3739

<Table 7>.

Top 10 Factors by Global Weight

Rank	Domain	Sub-factor	Global Weight
1	Customer	System for responding to customer quality issues	0.1333
2	Customer	Customer satisfaction and VOC management	0.0604
3	Customer	Response to customer requirements	0.0589
4	Workforce	Securing specialized experts	0.0578
5	Measurement, analysis, and knowledge management	Root-cause analysis and improvement	0.0551
6	Workforce	Job and technical training	0.0526
7	Measurement, analysis, and knowledge management	Data-based quality management	0.0494
8	Results	Quality performance	0.0481
9	Results	Customer satisfaction and approval-retention performance	0.0469
10	Strategy	Supply stabilization and risk-response strategy	0.0440

<Table 8>.

Sensitivity Analysis of the Top-Level Weights by CR Threshold

Domain	All experts (n=16)	CR ≤ 0.20 (n=9)	CR ≤ 0.10 (n=5)
Leadership	0.0951	0.0995	0.1079
Strategy	0.1158	0.1046	0.1228
Customer	0.2526	0.2337	0.2323
Measurement, analysis, and knowledge management	0.1415	0.1567	0.1196
Workforce	0.1542	0.1536	0.1318
Operations	0.1152	0.1089	0.1601
Results	0.1255	0.1430	0.1254

Reference

Chai, J., Liu, J.N.K., and Ngai, E.W.T., Application of decision-making techniques in supplier selection: A systematic review, Expert Systems with Applications, 2013, Vol. 40, No. 10, pp. 3872-3885.
Dickson, G.W., An analysis of vendor selection systems and decisions, Journal of Purchasing, 1966, Vol. 2, No. 1, pp. 5-17.
Flynn, B.B., Schroeder, R.G., and Sakakibara, S., A framework for quality management research and an associated measurement instrument, Journal of Operations Management, 1994, Vol. 11, No. 4, pp. 339-366.
Govindan, K., Rajendran, S., Sarkis, J., and Murugesan, P., Multi criteria decision making approaches for green supplier evaluation and selection: A literature review, Journal of Cleaner Production, 2015, Vol. 98, pp. 66-83.
Handfield, R., Walton, S.V., Sroufe, R., and Melnyk, S.A., Applying environmental criteria to supplier assessment: A study in the application of the Analytical Hierarchy Process, European Journal of Operational Research, 2002, Vol. 141, No. 1, pp. 70-87.
Ho, W., Xu, X., and Dey, P.K., Multi-criteria decision making approaches for supplier evaluation and selection: A literature review, European Journal of Operational Research, 2010, Vol. 202, No. 1, pp. 16-24.
Hong, J.R., A Study on an Evaluation Model for Suppliers of Semiconductor Packaging Enterprises in Korea (Based on AHP Technique) [dissertation], Asan, Korea: Hoseo University, 2007.
Hsu, C.-C. and Sandford, B.A., The Delphi technique: Making sense of consensus, Practical Assessment, Research & Evaluation, 2007, Vol. 12, No. 10, pp. 1-8.
Kwon, J.Y., Han, S.M., Choi, S.Y., and Jung, H.I., A study on developing a performance evaluation framework using Delphi and analytic hierarchy process, Asia-Pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, 2016, Vol. 6, No. 9, pp. 99-110.
Lee, A.H.I., A fuzzy AHP evaluation model for buyer-supplier relationships with the consideration of benefits, opportunities, costs and risks, International Journal of Production Research, 2009, Vol. 47, No. 15, pp. 4255-4280.
Lee, H. and Ham, S., Priority Analysis of Evaluation Factors in Contract Foodservice Operations Using Delphi and AHP, Journal of the Korean Dietetic Association, 2025, Vol. 31, No. 2, pp. 128-149.
Lee, J.H., A Study on Developing Diagnosis Model of Technology Collaboration Performance [dissertation], Seoul, Korea: Sungkyunkwan University, 2017.
Lee, S.H., A Study on Developing and Applying a Checklist for Diagnosing Supply Chain Conflict: Focused on Korean Manufacturing SMEs and Mid-Sized Firms [dissertation], Seoul, Korea: Seoul National University, 2022.
Lee, Y. and Park, H., A Systematic Analysis of Entrepreneurial Skills Using Delphi and AHP, Journal of Technology Innovation, 2024, Vol. 32, No. 4, pp. 35-70.
Linstone, H.A. and Turoff, M. (Eds.), The Delphi Method: Techniques and Applications, Reading, MA: Addison-Wesley, 1975.
National Institute of Standards and Technology, Baldrige Excellence Builder 2023-2024, Gaithersburg, MD: NIST, 2023.
Okoli, C. and Pawlowski, S.D., The Delphi method as a research tool: An example, design considerations and applications, Information & Management, 2004, Vol. 42, No. 1, pp. 15-29.
Saaty, T.L., The Analytic Hierarchy Process, New York: McGraw-Hill, 1980.
Shin, W.S., Yoo, J.S., and Na, S.B., Development and Application of an Integrated Model for Quality Management Systems, Journal of Korean Society for Quality Management, 2007, Vol. 35, No. 3, pp. 75-86.
Talluri, S. and Narasimhan, R., A methodology for strategic sourcing, European Journal of Operational Research, 2004, Vol. 154, No. 1, pp. 236-250.
Weber, C.A., Current, J.R., and Benton, W.C., Vendor selection criteria and methods, European Journal of Operational Research, 1991, Vol. 50, No. 1, pp. 2-18.
Whang, H.S., Kim, U., Jang, Y., Kim, J., and Kim, K.J., Development of Low Carbon Hydrogen Production Technology Evaluation Model Using Delphi-AHP Method, Journal of Hydrogen and New Energy, 2023, Vol. 34, No. 2, pp. 113-121.
Wilson, D.D. and Collier, D.A., An empirical investigation of the Malcolm Baldrige National Quality Award causal model, Decision Sciences, 2000, Vol. 31, No. 2, pp. 361-390.
Yu, S.Y., AHP-based evaluation model for business process management systems [in Korean], Management & Information Systems Review, 2012, Vol. 31, No. 4, pp. 433-444.