Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.40 No.4 pp.246-252
DOI : https://doi.org/10.11627/jkise.2017.40.4.246

Ratio Estimation of Indirect Cost Sector about Defense Companies by Statistic Technique

Hyeoncheol Lim, Suhwan Kim†
Department of Military Science, Korea National Defense University
Corresponding Author : ksuhwan@kndu.ac.kr
October 13, 2017 December 15, 2017 December 18, 2017

Abstract


In the defense acquisition, a company’s goal is to maximize profits, and the government’s goal is to allocate budgets efficiently. Each year, the government estimates the ratio of indirect cost sector to defense companies, and estimates the ratio to be applied when calculating cost of the defense articles next year. The defense industry environment is changing rapidly, due to the increasing trend of defense acquisition budgets, the advancement of weapon systems, the effects of the 4th industrial revolution, and so on. As a result, the cost structure of defense companies is being diversifying. The purpose of this study is to find an alternative that can enhance the rationality of the current methodology for estimating the ratio of indirect cost sector of defense companies. To do this, we conducted data analysis using the R language on the cost data of defense companies over the past six years in the Defense Integrated Cost System. First, cluster analysis was conducted on the cost characteristics of defense companies. Then, we conducted a regression analysis of the relationship between direct and indirect costs for each cluster to see how much it reflects the cost structure of defense companies in direct labor cost-based indirect cost rate estimates. Lastly a new ratio prediction model based on regularized regression analysis was developed, applied to each cluster, and analyzed to compare performance with existing prediction models. According to the results of the study, it is necessary to estimate the indirect cost ratio based on the cost character group of defense companies, and the direct labor cost based indirect cost ratio estimation partially reflects the cost structure of defense companies. In addition, the current indirect cost ratio prediction method has a larger error than the new model.



통계 기법에 의한 방산업체의 간접원가부문 비율 추정

임현철, 김수환
국방대학교 국방과학학과

초록


    1. 서 론

    국방획득에 있어 효율적으로 예산을 집행하려는 정부 와 영리를 목적으로 하는 기업에게 원가관리는 아주 중요 한 문제이다[2]. 단위제품별 직접 추적이 어려운 간접원 가부문 계산을 위해, 1997년부터 방산업체(공장) 2개년 간의 실적자료를 이용한 연간 배부율인 방산제비율을 적 용 중에 있다. 본 연구에서는 지난 6년간 방산제비율 실 적을 분석하고 향후 적용방안에 대해서 제시한다. 본 연 구와 관련된 방산원가 및 방산제비율에 관한 연구는 다음 과 같다. 허은진[4]은 직접노무비 위주 원가계산은 이론 적으로, 업체의 직접노무비 위주 제조간접비 배부를 유인 한다고 제시하였고, 김동욱[7]은 방산제비율 실적분석 결 과, 방산업체가 노무공수(노무비) 기준의 간접비 배부를 고수한다고 주장하였다. 안태식[1]은 원가계산 시 원가계 산시점의 제비율을 적용하는 제도는, 방산업체 원가구조 의 시계열적인 일정성을 전제한다고 보았고, 강경목[6]은 정부주관 연구개발 원가 분석결과 간접비의 고정비가 매 출액에 비례하지 않아, 개산계약 정산 시 제비율로 인한 원가 왜곡 발생을 주장하였다. 기존 연구들은 직접노무비 위주의 제비율 산정과, 이를 원가계산에 적용 시 왜곡될 수 있는 부분의 개선에 대한 주장이 대부분이다. 국방획 득 예산규모 증대, 무기체계 첨단화, 급변하는 산업 환경 에서, 방산제비율의 변화가 필요한지 살펴볼 시점이다. 본 연구는 실질적인 제비율 산정의 합리성 강화 방안을 제시하고자 한다. 본 연구의 구성은 서론 이후 제 2장에서 연구범위 및 방법을 기술하며, 제 3장에서 실증분석을 실 시하고, 제 4장에서 연구결과 종합 및 시사점을 다루었다.

    2. 연구범위 및 방법

    방산제비율은 업체(공장)별 방산분야의 직접원가에 대 한 간접원가의 비율로, 간접원가 산정 시 직접원가에 제 비율을 곱하는 형태로 계산된다. 방산분야의 직접원가는 방산제비율에 미치는 영향이 큰데다, 직접노무비 위주의 간접비율 산정 하에서 직접원가 구성비는 근본적인 원가 차이를 발생시키키지만, 제비율은 획일적으로 산정된다. 또한, 방산제비율은 업체(공장)별 직전 2개년 방산실적에 대한 제비율을 산정하여, 최근연도로부터 6:4의 가중치 를 반영한 예측률을 익년 원가계산 시 적용한다. 가중이 동평균법의 형태로, 간단한 계산과 적용이 장점이지만, 가중치 근거 제시가 곤란하고 추세에 둔감한 단점이 있 다. 따라서, 본 연구의 범위는, 첫째, 업체(공장)의 원가 특성이 제비율 산정에 미치는 영향을 살펴보고, 둘째, 직 접노무비에 기초하는 간접비율 산정 방식이 업체(공장) 의 원가구조를 얼마나 반영하는지 분석하며, 셋째, 현행 제비율 예측 방식 성능을 분석하였다. 연구자료는 국방 통합원가시스템의 ’12~’17년 방산제비율 산정내역서로, 방위사업청에서 업체에서 제출받은 회계자료에 대한 검 토 절차를 거친 자료를 사용하였다. <Table 1>은 연구자 료 현황으로, 결산연도별 업체(공장)에 대한 관측치(제비 율 산정건수)는 총 574건으로 집계되고, 비율은 전체에 서 차지하는 비중이며, 한 개의 관측치는 제비율 결과와 산정에 사용된 모든 원가정보를 포함한다.

    국방획득에 있어 효율적으로 예산을 집행하려는 정부 와 영리를 목적으로 하는 기업에게 원가관리는 아주 중 요한 문제이다[2]. 단위제품별 직접 추적이 어려운 간접 원가부문 계산을 위해, 1997년부터 방산업체(공장) 2개 년 간의 실적자료를 이용한 연간 배부율인 방산제비율을 적용 중에 있다. 본 연구에서는 지난 6년간 방산제비율 실적을 분석하고 향후 적용방안에 대해서 제시한다. 본 연구와 관련된 방산원가 및 방산제비율에 관한 연구는 다음과 같다. 허은진[4]은 직접노무비 위주 원가계산은 이론적으로, 업체의 직접노무비 위주 제조간접비 배부를 유인한다고 제시하였고, 김동욱[7]은 방산제비율 실적분 석 결과, 방산업체가 노무공수(노무비) 기준의 간접비 배 부를 고수한다고 주장하였다. 안태식[1]은 원가계산 시 원가계산시점의 제비율을 적용하는 제도는, 방산업체 원 가구조의 시계열적인 일정성을 전제한다고 보았고, 강경 목[6]은 정부주관 연구개발 원가 분석결과 간접비의 고 정비가 매출액에 비례하지 않아, 개산계약 정산 시 제비 율로 인한 원가 왜곡 발생을 주장하였다. 기존 연구들은 직접노무비 위주의 제비율 산정과, 이를 원가계산에 적 용 시 왜곡될 수 있는 부분의 개선에 대한 주장이 대부 분이다. 국방획득 예산규모 증대, 무기체계 첨단화, 급변 하는 산업 환경에서, 방산제비율의 변화가 필요한지 살 펴볼 시점이다. 본 연구는 실질적인 제비율 산정의 합리 성 강화 방안을 제시하고자 한다. 본 연구의 구성은 서론 이후 제 2장에서 연구범위 및 방법을 기술하며, 제 3장 에서 실증분석을 실시하고, 제 4장에서 연구결과 종합 및 시사점을 다루었다.

    2. 연구범위 및 방법

    방산제비율은 업체(공장)별 방산분야의 직접원가에 대 한 간접원가의 비율로, 간접원가 산정 시 직접원가에 제 비율을 곱하는 형태로 계산된다. 방산분야의 직접원가는 방산제비율에 미치는 영향이 큰데다, 직접노무비 위주의 간접비율 산정 하에서 직접원가 구성비는 근본적인 원가 차이를 발생시키지만, 제비율은 획일적으로 산정된다. 또 한, 방산제비율은 업체(공장)별 직전 2개년 방산실적에 대한 제비율을 산정하여, 최근연도로부터 6 : 4의 가중치 를 반영한 예측률을 익년 원가계산 시 적용한다. 가중이 동평균법의 형태로, 간단한 계산과 적용이 장점이지만, 가중치 근거 제시가 곤란하고 추세에 둔감한 단점이 있 다. 따라서, 본 연구의 범위는, 첫째, 업체(공장)의 원가특 성이 제비율 산정에 미치는 영향을 살펴보고, 둘째, 직접 노무비에 기초하는 간접비율 산정 방식이 업체(공장)의 원가구조를 얼마나 반영하는지 분석하며, 셋째, 현행 제 비율 예측 방식 성능을 분석하였다. 연구자료는 국방통합 원가시스템의 ’12~’17년 방산제비율 산정내역서로, 방위 사업청에서 업체에서 제출받은 회계자료에 대한 검토 절 차를 거친 자료를 사용하였다. <Table 1>은 연구자료 현황 으로, 결산연도별 업체(공장)에 대한 관측치(제비율 산정 건수)는 총 574건으로 집계되고, 비율은 전체에서 차지하 는 비중이며, 한 개의 관측치는 제비율 결과와 산정에 사 용된 모든 원가정보를 포함한다.

    본 연구의 수행 절차는 <Figure 1>과 같이, 먼저 연구 자료에서 업체(공장)별 직접비를 추출하여, 군집분석 및 원가특성을 비교하였다. 이에 연계하여 군집별 직․간접 비를 추출하여, 다중 회귀를 적용하여 간접비에 대한 직 접비별 영향과 상대적 중요성을 분석하였다. 또한, 군집 별로 결산년도별 제비율을 추출하여, 정규화(Regularized) 회귀를 적용한 새로운 제비율 예측모델로, 현행 방식과 성능을 비교하였다. 보다 구체적인 방법은 각 실증분석 에서 제시하였으며, 데이터 분석은 오픈소스 프로그램 R 을 사용하였다.

    3. 실증 분석

    3.1. 방산업체 원가특성의 제비율 영향

    데이타 군집화로 핵심 원가 모수인 직접비를 선택하고, 척도의 차이로 표준화한 데이터(Scaled data)를 사용하였다. 데이터셋은 데이터 공간 임의성(Hopkins statistic)이 낮고, 비유사성 행렬을 활용한 이미지(VAT : The algorithm of the visual assessment of cluster tendency) 상 패턴을 형성 하여 군집 성향이 확인된다.

    군집은 다른 관찰치들에 비해 서로 보다 유사한 관찰 치들의 그룹으로, 한 군집 안에 부분군집 유무의 유형에 따라 많은 군집 방법이 존재하여, <Table 2>와 같이 최 적의 군집방법과 군집수를 평가하였다[8, 10]. Internal validation measure는 군집 내 결합정도와 군집 간 분리정 도, Stability validation measures는 군집 정보 일부의 삭 제 전․후로 군집의 안정성을 측정한다. 평가 결과, 계층 적 군집(Hierarchical clustering)에 군집수 2개가 최적으로 분석되었다. 구체적 방법으로 데이터끼리 순차적으로 군 집을 묶어나가는 응집형(Agglomerative)을 적용하고, 데 이터 속성에 대한 거리 척도로 두 점을 잇는 가장 짧은 직선거리를 계산하는 유클리드 거리를 적용하였다. 또한, 군집 간 거리 측정에는 두 군집이 합쳐졌을 때의 오차제 곱합의 증가분에 기반해서 군집 내 거리를 최소화하여 노이즈나 이상치에 덜 민감한 Ward linkage를 적용하였 다. 군집분석 결과, 군집 A에 498개(86.8%), 군집 B에 76 개(13.2%)의 관측치가 군집되었다.

    <Figure 2>는 군집 간 직접비 규모를 0~1사이 척도 변 환에 의해 직관적으로 비교한 것으로, 군집 B의 직접재료 비(DMC : Direct meterial cost), 직접노무비(DLC : Direct labor cost), 직접경비(DE : Direct expense)가 아주 높아, 개 체 수(76개)에 비해 방산 규모가 월등한 업체로 나타났다.

    군집 간 직접비별 제조원가 비중을 비교한 결과, <Figure 3>과 같이 직접재료비 비중은 군집 A가 0.002~0.88, 군집 B가 0.15~0.91로 나타났고, 직접노무비 비중은 군집 A가 0.002~0.6, 군집 B는 0.019~0.19로 나타났다. 군집 B는 앞서 확인한 직접비 규모를 고려했을 때, 군집 A보다 직접재료비 비중은 높은데 직접노무비 비중은 오히려 낮은 편으로, 군집 간 주요생산형태를 차이가 나타낸다. 다시 말하면, 상대적으 로 군집 A는 재료(원재료) 공정이 많고, 군집 B는 재료(구성 품) 공정이 적은 원가구조에 차이가 있음을 의미한다.

    군집 간 원가특성의 차이가 제비율에 미치는 영향을 <Figure 4>와 같이 군집별 ’10년(r0)~’15년(r5)의 간접노무 비율로 비교한 결과, 중간값을 기준으로 군집 A는 49.61%~ 57.99%인데, 군집 B는 80.11%~110.3%의 분포로 비율과 변동폭이 크게 나타났다. 이는 군집 A보다 군집 B가 협력 업체(구성품)에 대한 생산․품질 관리 비중이 높아, 필수적 인 간접조직이 크기 때문에 비율이 높음을 의미한다. 이로 인해, 단위 직접노무비당 간접노무비가 높아 조업도에 민 감하게 변동하게 된다. r1, r2의 가중평균으로 r4를 예측하 는 현재 방식은, 군집 B에 상대적으로 큰 오차를 지속 발생 시킨다.

    방산업체 원가특성에 따른 군집분석 결과를 요약하면 다음과 같다. 첫째, 업체(공장)별 직접비에 따른 군집은 원가구조, 주요생산형태, 간접비율 수준과 변동성에서 뚜 렷한 차이가 확인된다. 둘째, 이러한 차이는 제비율 오차 의 차이로 이어지므로, 원가특성으로 산정 대상의 세분화 가 필요하다.

    3.2. 직접노무비 기반 간접비율의 원가 수용성

    I L C t = β 0 + β 1 D M C t + β 2 D L C t + β 3 D E t +
    (1)

    I E t = β 0 + β 1 D M C t + β 2 D L C t + β 3 D E t +
    (2)

    간접비에 대한 직접비별 영향과 상대적 중요도를 분석 하기 위해, 간접노무비(ILC : Indirect labor cost), 간접경비 (IE : Indirect expense)를 설명변수, 직접비를 설명변수로 하는 관계식을 설정하였다. 간접노무비에 대한 관계식 (1) 의 설명변수에서 직접재료비, 직접경비를 제외하면, 현행 간접노무비율 산정 형태가 된다. 군집별로 결산연도(t)별 직․간접비를 추출하여, 분산팽창지수 등 다중공선성 문 제가 없어, 다중회귀를 적용하였다. 후버의 M-추정, LMS (Least median of square), LTS(Least trimmed squares) 추정 과 잔차분포를 비교하여 공통적인 영향치 제거로, 1개 영 향치에 달라지는 최소제곱추정의 단점을 보완하였다.

    간접노무비에 대한 직접비의 영향(1)을 분석한 결과, <Table 3>과 같이 군집 A는 직접재료비가 1단위로 변할 때 간접노무비는 0.19만큼 변화하고, 직접경비가 1단위로 변할 때 간접노무비는 0.1만큼 변화한다고 94.3%의 확신 을 가지고 이야기할 수 있다. 군집 B의 수정결정계수가 79.5%로 비교적 낮은 것은, 군집 A와 달리 직접비 외 원 가요인과 상관관계 가능성이 보여지나, 현행 원가계산 법 령을 벗어나 별도의 연구가 필요해 보인다. 군집 B는 군 집 A와 달리 간접노무비에 대한 직접재료비 영향이 높고, 직접경비는 영향이 없다. 이에 따라, 군집 A는 원자재(직 접재료비)와 외주가공(직접경비) 형태로 간접노무비에 영 향을 미치는 원가구조이고, 군집 B는 구성품(직접재료비) 만 간접노무비에 영향을 미치는 원가구조로 볼 수 있다.

    간접경비에 대한 직접비의 영향(2)을 분석하여 간접노 무비의 경우와 차이점 비교 결과, <Table 4>와 같이 모든 군집에서 직접재료비 영향은 감소하고, 직접노무비 영향은 증가하여, 간접경비가 인건비에 의한 변동성이 높음을 보 여준다. 또한, 군집 B의 직접경비가 (-)영향을 미치는 점은, 구성품 위주의 생산체제는 기술용역처럼 간접비 저감 효과의 직접경비 발생 비중이 높음을 의미한다. 간접비 예측에 있어 직접비 간 상대적인 중요도를, 각 직접비가 R2에 기여하는 정도로 정량화하는 직관적으로 분석을 수행하였다[5].

    <Table 5>는 간접비에 대한 직접비 간 상대적 중요도 분석 결과로, 간접노무비의 경우, 군집 A의 직접비가 간 접노무비의 전체 분산 중 93.6%를 설명해주고 있는데, 직접재료비가 약 32%, 직접경비가 약 26%로 합계가 직 접노무비보다 높다. 군집 B는 직접경비 중요도가 극미한 차이점이 나타난다. 간접경비의 경우, 간접노무비의 경 우에 비해 직접노무비의 중요도가 증가하나, 모든 군집 의 직접재료비 또는 직접경비의 중요도가 적지 않다.

    직접노무비 기반 간접비율 산정 방식의 원가 수용성 분석 결과를 요약하면, 군집별로 직접노무비 외 타직접 비가 간접비에 미치는 영향이 상이하고, 간과할 수 없는 중요도가 나타나므로, 간접비율 산정에 이를 반영하는 차별화가 필요해 보인다.

    3.3. 제비율 예측 모델별 성능 비교 분석

    현행 제비율 예측 방식은 식 (3)과 같이 제원과 가중 치가 고정적이지만, 새로운 방식은 식 (4)와 같이 제원을 추가할 수 있고, 최적의 가중치를 탐색하는 차이가 있다.

    Y t + 1 = 0.6 X t 1 + 0.4 X t 2
    (3)

    Y t + 1 = β 0 + β 1 X t 1 + β 2 X t 2 + β 3 X t 3 +
    (4)

    • t : Calculation year,

    • X : Settlement ratio,

    • Y : Application ratio

    군집별로 연구대상기간(’10년~’15년)에 자료의 누락이 없는 업체(공장)의 제비율 추출 결과, 군집 A는 58곳, 군 집 B는 9곳이 식별되었다. 식 (4)의 회귀분석을 위해 다 중공선성 확인 결과, 분산팽창지수가 최고 4.54 등 예측 력 저하가 우려돼, 정규화 선형회귀를 적용하였다. 선형 회귀계수(Weight)에 대한 제약 조건 추가로 모형의 과도 한 최적화를 막는 방법으로, 일반적으로 Ridge, LASSO (Least absolute shrinkage and selection operator), Elastic net이 사용된다[3, 9, 11].

    R i d g e : cos t = e i 2 + λ w i 2 L A S S O : cos t = e i 2 + λ | w i | E l a s t i c n e t : cos t = e i 2 + λ 1 | w | + λ 2 w i 2
    (5)

    • e : residual,

    • ω : weight,

    • λ , λ 1 λ 2 : hyperparameter

    식 (5)와 같이 Ridge는 가중치들의 제곱합, LASSO는 가중치 절대값의 합, Elastic net은 이 두 가지를 제약조 건으로 하며, 하이퍼모수는 기존 잔차 제곱합과 추가 제 약조건의 비중을 조절한다.

    식 (4)를 통한 제비율 예측을 위해 <Table 6>과 같이 ’10년~’12년, ’14년 자료로 훈련 및 검증을 수행하고, ’11 년~’13년 자료에 의한 ’15년 예측 결과와 ’15년 결산년도 제비율 비교로 모델 확정을 위한 성능 평가를 수행하였다.

    개발의 핵심은 반복된 10겹 교차검증을 통한 하이퍼 모수 튜닝으로 과적합 등의 모델링을 개선하는 것이며, <Figure 5>는 Elastic net을 적용한 군집 A 간접노무비율 예측 모델의 검증 장면이다. x축은 λ , y축은 MSE(평균 제곱오차), 상단은 사용 제원이며, 최소 MSE(좌측 수직 선), 최소 표준편차MSE(우측 수직선)의 λ 를 측정, 표시 하고 있다.

    <Table 7>은 모델별 ’15년 제비율 예측 성능 비교 결과 로, MSE는 ’15년 실제 제비율과 각 모델의 예측값의 평 균제곱오차로 MSE가 낮을수록 실제에 가까워지며, 새로 운 모델의 예측이 비교적 전반적인 오차가 낮다. 원가영 향이 가장 큰 간접노무비율의 경우, 현행 방식은 군집 A 의 경우 MSE가 Ridge 대비 62.35, LASSO 대비 65.92, Elastic net 대비 65.02가 높아, 업체(공장)별 7%~8%의 추 가 오차가 발생된다. 마찬가지로, 군집 B는 5%~11%의 추가 오차가 발생된다.

    모델별 제비율 예측을 위한 제원 활용 현황은 <Table 8>과 같이 새로운 모델의 경우 모든 제원을 활용하는 점 에서 현행 방식과 차이를 보인다. 제비율 예측 모델별 성 능 비교 분석 결과를 요약하면 다음과 같다. 현행 방식은 비교 모델 대비 오차가 크고 군집별 차이도 크게 나타나, 2개년 실적 활용의 과학적 근거를 찾을 수 없어, 예측 기 법의 고도화가 필요하다.

    4. 결 론

    연구결과를 종합해보면, 현행 일괄적인 간접비율 산 정, 고정적인 제비율 예측은 방산업체의 생산형태, 원가 구조의 차이를 모두 반영하지 못하므로, 원가특성에 따 른 분류 체계를 정립하여 제비율 산정 기준의 세분화가 필요하다. 직접노무비 위주로 평준화된 간접비율 산정 은, 타직접비를 추가로 고려하는 기업의 다양한 생산 노 력을 반영하는 차별화가 필요하다. 특정시점의 제비율 예측을 통한 평균화보다, 과학적 기법을 적용하는 정교 화로 보다 효율적으로 국방획득 비용을 집행할 필요가 있다. 제비율 산정 체계에 대한 본 연구가 시사하는 바 는 다음과 같다. 첫째, 원가구조의 다양성, 복잡성이 증 가하므로 데이터 과학에 의한 보다 넓고 깊은 분석과 통 찰에 기반하는 접근이 필요한 시점이라는 것이다. 둘째, 제비율 산정 체계는 비용의 불확실성과 직결되어 확정계 약, 과학적인 사업관리 등 국방획득 관련 프로세스의 실 질적인 활성화에 기여할 수 있다. 셋째, 이를 위해 축적 된 데이터를 연속성 있게 활용되는 산정 시스템을 지향 할 필요가 있다. 이에 향후 실무 현장의 다양한 원가 정 보를 활용한 보다 고도화된 비지도학습 기반의 제비율 산정 시스템에 관한 연구가 필요할 것으로 보인다.

    Figure

    JKISE-40-246_F1.gif
    Research Procedure
    JKISE-40-246_F2.gif
    Comparison of Direct Cost Size
    JKISE-40-246_F3.gif
    Comparison of Direct Cost Size
    JKISE-40-246_F4.gif
    Comparison of Indirect Labor Rate
    JKISE-40-246_F5.gif
    10-fold Cross-Validation with Elastic net for Prediction of Indirect Labor Rate of Cluster A

    Table

    Status of Data by Settlement Year

    Evaluation Results for Optimal Clustering Algorithms and Clusters

    Impact of Direct Cost on Indirect Labor Cost [Pr( > |t|) : ‘***’ 0.001, ‘**’ 0.01, ‘*’ 0.05]

    Impact of Direct Cost on Indirect Expense

    The Relative Importance of Predictor Variables

    Data Usage for New Models

    Comparing Prediction Performance of Model to Cluster

    Comparison of Weights for Each Model

    Reference

    1. T.S. Ahn (2001) Analysis of Defense Industry Cost Compensation System., Accounting papers, Vol.35 (1) ; pp.87-112
    2. DAPA (2015) Manual Practical Handbook on Verification of Supplier Costs., Defense Acquisition Program Administration, ; pp.3-137
    3. B. Efron , T. Hastie , I. Johnstone , R. Tibshirani (2004) Least Angle Regression., Ann. Stat., Vol.32 (2) ; pp.407-499
    4. E.J. Heo (2003) Defense industry costing and profit calculation rules and defense incentives [dissertation], Seoul University,
    5. J.W. Johnson (2003) A Heuristic Method for Estimating the Relative Weight of Predictor Variables in Multiple Regression., Multivariate Behav. Res., Vol.35 (1) ; pp.1-19
    6. K.M. Kang (2014) Study on the cost behavior of R&D project for weapon system [dissertation], Korea National Defense University,
    7. D.W. Kim (2011) Cost structure and cost behavior of Korean defense companies [dissertation], Korea National Defense University,
    8. S.S. Kim , J.Y. Baek , B.S. Kang (2017) Hybrid Simulated Annealing for Data Clustering., Journal of Society of Korea Industrial and Systems Engineering, Vol.40 (2) ; pp.92-98
    9. R. Tibshirani , J. Bien , J. Friedman , T. Hastie , N. Simon , J. Taylor , R.J. Tibshirani (2012) Strong Rules for Discarding Predictors in Lasso-type Problems., J. R. Stat. Soc. Series B Stat. Methodol., Vol.74 (2) ; pp.245-256
    10. D.G. Yang (2012) Validation Technique of Simulation Model using Weighted F-measure with Hierarchical X-means (WF-HX) Method., Journal of the Korea Academia-Industrial Cooperation Society, Vol.13 (2) ; pp.562-574
    11. H. Zou , T. Hastie (2005) Regularization and Variable Selection via the Elastic Net., J. R. Stat. Soc. Series B Stat. Methodol., Vol.67 (2) ; pp.301-320