Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.49 No.3 pp.160-174
DOI : https://doi.org/10.11627/jksie.2026.49.3.160

Severity Analysis of User Complaints in Negative Reviews of Fintech Payment Applications Using Topic Modeling and Large Language Models

Min-Sol Kim

, Ki-Kwang Lee†

School of Business Administration, Dankook University

^†Corresponding Author : kiklee@dankook.ac.kr

Received 10/08/2026 Finally Revised 27/08/2026 Accepted 27/08/2026

Abstract

This study asks which complaints are most severe in negative reviews of three leading Korean fintech payment applications (Toss, Kakao Pay, and Naver Pay). Latent Dirichlet Allocation on 14,000 Google Play reviews yielded seven topics, to which a residual category was added, and a large language model assigned one of the eight resulting categories to every review. Six of these categories, referred to as complaint types, were divided into core and supplementary services following Wirtz and Lovelock's service structure, and severity was assessed by star rating and by stated intention to discontinue use. Supplementary types ranked highest on both measures, although the type with the highest share of one-star reviews differed by application. All 1,714 one-star reviews of those types were then analyzed qualitatively, and obstruction of the core service could be determined for 1,641. Discontinuation intention was stated more often where a supplementary element obstructed use of the core service. Within such obstruction it was concentrated in the design-induced form, in which the element worked as intended but its design or policy displaced the core service (22.2% vs. 13.2% for complaints involving no obstruction; common odds ratio 2.28, 95% CI 1.51–3.44, stratified by application). Frequency and severity therefore do not coincide: the most severe complaints arise where a supplementary element's design displaces the core service.

Key Words : Fintech , App Review , Topic Modeling , Large Language Model , Complaint Severity

토픽모델링과 대규모 언어모델을 활용한 핀테크 결제 앱 부정 리뷰의 사용자 불만 요소 심각도 분석

김민솔, 이기광†

단국대학교 경영학부

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

간편결제 앱은 결제․송금의 편의성을 앞세워 일상적 결제 수단으로 자리 잡았다. 와이즈앱․리테일[21]의 조사에서 2025년 11월 기준 국내 스마트폰 사용자의 98%가 간편결제 앱을 설치한 것으로 나타났으며, 한국은행[2]에 따르면 2025년 간편지급 서비스의 일평균 이용금액은 1조 1,053억 원으로 전년 대비 14.6% 증가하였다. 서비스가 확대될수록 사용자의 불만도 다양해지는데, 운영자는 한정된 자원으로 모든 불만에 동일하게 대응할 수 없으므로 어떤 유형의 불만이 서비스 본연의 가치를 위협하는지 식별하는 일이 실무적으로 중요하다. 이때 모든 불만이 같은 무게를 갖지는 않는다. 서비스 실패에 대한 고객의 반응은 그 심각성에 따라 달라지며, 심각성이 클수록 고객의 충성의도가 낮아지고 이탈로 이어진다는 것이 보고되어 왔다[12]. 따라서 불만이 서비스의 이용 지속을 얼마나 위협하는지를 가늠할 필요가 있다. 사용자 리뷰의 별점은 이를 가늠하는 직관적인 지표지만 불만의 구체적 내용을 담지 못하므로, 불만의 유형과 심각도를 파악하려면 리뷰 텍스트 자체에 대한 분석이 요구된다. 그러나 기존의 한국 핀테크 사용자 경험 연구는 소수 표본을 대상으로 한 인터뷰․설문이 주를 이루었고[10, 15], 텍스트마이닝을 적용한 연구도 대체로 불만 유형의 도출에 머물러[6, 7, 11, 17] 유형 간 심각도의 차이나 각 유형 내부의 구체적 불만까지 나아간 경우는 드물었다.

이러한 공백에 대응하여 본 연구는 국내 간편결제 시장을 대표하는 토스․카카오페이․네이버페이의 구글 플레이 리뷰 약 14,000건을 대상으로, 부정 리뷰가 어떤 유형으로 나뉘고 그중 어느 유형의 불만이 가장 심각하며 그 양상이 앱별로 어떻게 다른지를 분석한다. 본 연구의 기여는 다음과 같다. 첫째, LLM 기반 대규모 분류로 한국 핀테크 결제 앱의 부정 리뷰 유형을 도출한다. 둘째, 별점 기반 지표와 이탈 의사 표명이라는 서로 다른 축의 지표로 유형별 심각도를 통계적으로 분석하고, 이를 서비스 구조 이론의 틀에서 해석한다. 셋째, 앱별로 불만 수준이 가장 심각한 유형의 1점 리뷰 전체를 정성적으로 분석하여, 같은 유형 안에서 심각도를 가르는 것이 무엇인지 규명한다.

2. 이론적 배경 및 선행연구

2.1 핀테크 앱과 사용자 리뷰

앱 마켓의 사용자 리뷰는 이용자가 서비스에 대한 평가를 자발적으로 남기는 자료로, 별점과 텍스트를 함께 제공한다. 리뷰는 설문이나 인터뷰와 달리 별도의 조사 설계 없이 실제 사용 맥락에서 대규모로 축적되며, 불만과 요구가 사용자의 언어로 직접 표출된다는 특징을 가진다. 국내 핀테크 서비스의 사용자 경험에 대해서는 카카오페이․네이버페이를 다룬 연구[15], 토스․카카오뱅크를 다룬 연구[10] 등 소수 표본 기반의 정성적 연구가 이루어져 왔으나, 본 연구의 세 앱을 함께 대상으로 대규모 리뷰 데이터에서 불만의 유형과 심각도를 분석한 연구는 드물다.

2.2 리뷰 분석 방법과 분석 틀

대규모 앱 리뷰에서 불만의 유형을 추출하는 데 널리 쓰인 방법은 토픽 모델링, 그중에서도 LDA(Latent Dirichlet Allocation)로, 앱 리뷰의 만족․불만 요인을 파악하는 데 활용되어 왔다[6, 7, 11, 17]. 다만 도출된 토픽이 상위 단어의 목록으로 제시될 뿐이어서 그 의미가 연구자의 해석에 의존하며, 개별 리뷰를 특정 유형으로 일관되게 분류하는 데는 적합하지 않다. 최근에는 문맥을 반영하는 대규모 언어모델(LLM)을 리뷰 분석에 활용하는 연구가 늘고 있으며, 경쟁 앱 리뷰를 비교하여 기능 개선점을 도출한 연구[1]나 별점과 리뷰 텍스트의 감성 사이의 괴리를 정량화한 연구[22]가 대표적이다. 한편 이러한 연구는 대체로 불만의 유형을 도출하는 데 초점을 두어, 유형에 따라 심각도가 어떻게 다른지까지 나아간 경우는 드물다. Khalid et al.[9]이 1․2점 리뷰를 수작업으로 분류하여 유형에 따라 별점의 분포가 다르게 나타남을 보였으나 대규모 분석에는 한계가 있었다. 본 연구는 LDA로 범주 체계를 도출하고 언어모델로 전체 리뷰를 분류하여 두 방법을 결합한다.

이렇게 도출된 유형은 Wirtz and Lovelock[20]의 서비스 구조에 따라 구분한다. 이 논의는 고객이 찾는 주된 편익을 공급하는 중심 요소를 핵심 서비스(core service)로, 이를 둘러싸고 이용을 돕거나 가치를 더하는 요소들을 보조 서비스(supplementary service)로 나누며, 핵심이 온전하더라도 이를 둘러싼 보조 서비스에 문제가 있으면 서비스 전체에 대한 평가가 손상될 수 있다고 지적한다. 간편결제 서비스의 본질이 결제 편의성에 있고[19] 사용자가 부가 기능보다 본연의 기능에 충실한 서비스를 선호한다는 보고[14]를 고려하여, 본 연구는 결제․송금과 그 정상적 작동을 핵심으로, 인증․업데이트․광고․고객센터 등을 보조로 구분하였다. 다만 원 논의에서 결제는 다른 핵심 서비스의 이용을 완결하는 촉진 요소로 분류되며 보조 서비스의 세부 요소들도 서비스 제공의 기능적 단계에 따라 나뉜 것이어서 앱 리뷰에서 도출된 불만 유형과 일대일로 대응하지 않으므로, 본 연구는 핵심과 보조의 이분 구분만을 조작적으로 적용하였고 그 한계는 5장에서 논의한다. 한편 이용자의 목적 달성을 어렵게 만드는 인터페이스 설계는 다크 패턴 연구에서 유형화되어 왔다[3, 5]. 다만 이 계열이 이용자의 이익을 의도적으로 훼손하는 설계를 다루는 데 비해, 본 연구의 저해는 보안이나 개편처럼 정당한 목적을 가진 요소가 결과적으로 핵심 이용을 밀어내는 경우를 포함한다. 따라서 저해의 판단 기준은 설계자의 의도가 아니라 그 요소가 핵심 서비스의 이용에 실제로 미친 결과에 있으며, 이 기준은 4.3절에서 조작적으로 정의한다.

3. 연구 방법

본 연구의 절차는 <Figure 1>과 같다. 세 앱의 리뷰를 수집․정제한 뒤 LDA로 범주 체계를 도출하고 언어모델로 전체 리뷰를 분류하였으며, 유형별 심각도를 세 지표로 측정한 다음, 앱별로 가장 심각한 유형의 1점 리뷰 전체를 세부 내용에 따라 나누어 살펴보았다. 각 단계는 3.1절부터 3.4절에 대응한다. 4장의 결과도 이 순서를 따른다. 각 단계에서 사용한 학습 설정과 프롬프트는 부록 A부터 C에 수록하였다.

3.1 데이터 수집

분석 대상은 오픈서베이 조사에서 최근 1개월 내 모바일 결제 경험자의 주이용 간편결제 수단 응답률 상위 3개 서비스[18]를 제공하는 토스, 카카오페이, 네이버페이의 구글 플레이 스토어 한국어 리뷰이다. 애플 앱 스토어는 과거 리뷰의 대규모 수집에 제약이 있어 제외하였다. google-play-scraper를 사용하여 2024년 4월부터 2026년 5월까지 약 2년간의 리뷰를 별점․텍스트․작성일․앱 버전과 함께 수집하였다. 스토어가 최신순으로 제공하는 목록을 2년 전 시점에 도달할 때까지 연속 조회하였으며, 별도의 표본추출은 하지 않았으므로 확보된 리뷰는 이 방식으로 제공되는 범위의 전수에 해당한다. 중복 리뷰와 텍스트․별점이 결측인 리뷰를 제거해 토스 9,800건, 카카오페이 2,000건, 네이버페이 2,200건으로 총 14,000건을 확보하였다. 이러한 차이는 토스가 결제 기능을 단일 앱에 통합한 반면 카카오페이와 네이버페이는 각각 카카오톡과 포털․쇼핑을 통해서도 이용되어 별도 앱에 대한 리뷰가 적기 때문으로 보인다. 한편 카카오페이의 2024년 8월 구간은 부정 리뷰 비율이 전월 대비 약 30%p 급증한 구간으로, 동일 시기에 제기된 개인신용정보 무단 제공 논란[4]에 따른 일시적 반응으로 판단된다. 이는 앱의 일반적 사용 경험에서 비롯된 불만과 성격이 다르므로 해당 구간(142건)은 별점 기반 분석에서 제외하였다. 리뷰 분류는 전체 리뷰에 적용하되 별점 기반 통계 분석의 대상은 해당 구간을 제외한 13,858건이다. 이 배제는 부정 리뷰 비율의 분포를 관찰한 뒤 내린 사후적 판단이므로, 배제 전후의 결과를 부록 E에 제시하였다.

3.2 리뷰 분류

리뷰 분류에는 LDA 토픽 모델링과 대규모 언어모델을 함께 사용하였다. 분류를 처음부터 언어모델에 맡기기보다, 먼저 토픽 모델링으로 데이터에 근거한 범주 체계의 초안을 얻은 뒤 이를 분류 기준으로 삼았다. 한국어 형태소 분석(Okt)과 불용어 제거를 거친 LDA에서 토픽 수 4~11을 비교하였다. 6~8 구간의 차이는 시드 간 변동보다 작아, 각 토픽이 하나의 범주에 대응하는 해석가능성을 기준으로 7개 토픽을 채택하였다[부록 A]. 토픽의 명명은 다음과 같이 하였다. 토픽 도출에 앞서 세 앱에 공통으로 빈출하는 단어와 단어쌍을 검토하여 예상되는 범주의 윤곽을 파악하였다. 이어 토픽별 상위 단어를 언어모델에 제시하여 명칭 후보를 얻은 뒤, 연구자가 각 토픽의 상위 단어가 포함된 리뷰를 직접 읽고 앞의 분석과 대조하여 최종 명칭을 확정하였다. 어느 토픽에도 명확히 속하지 않거나 의미를 판별할 수 없는 리뷰를 담는 '기타'를 추가하여 최종 8개 범주를 확정하였다[부록 A, B]. 이하 이 8개를 리뷰 범주로, 그 가운데 전반 평가/부가서비스와 기타를 제외하고 심각도 분석의 대상이 되는 6개를 불만 유형으로 구분하여 지칭한다. 확정된 8개 범주를 기준으로 대규모 언어모델(Gemini 2.5 Flash)이 전체 리뷰 14,000건을 한 리뷰에 하나의 범주를 부여하는 단일 라벨 방식으로 분류하였다[부록 C]. 모델에는 8개 범주의 정의를 제시하고 여러 불만이 섞인 경우 가장 비중이 큰 불만을 기준으로 판단하도록 하였다. 리뷰는 앞선 판정이 이후 판정에 영향을 주지 않도록 한 건씩 독립적으로 입력하였다. 부정 리뷰만이 아니라 전체 리뷰를 분류한 것은 리뷰 범주를 종속변수인 별점과 연관 지어 분석하기 위해 긍정․중립을 포함한 별점 분포를 확보할 필요가 있었기 때문이다. 동일 입력 100건을 재분류한 결과 99%가 일치하여 결정성을 확인하였다. 무작위 100건에 대해 연구자가 직접 분류한 결과와 대조한 일치율은 8개 범주 기준 69.0%(Cohen's $κ = 0.639$ , 95% CI 0.536~0.743), 양쪽이 모두 6개 불만 유형을 부여한 73건에서는 불만 유형 기준 78.1%( $κ = 0.728$ , 0.610~0.845), 핵심-보조 서비스 기준 89.0%( $κ = 0.769$ , 0.619~0.919)였다. $κ$ 의 해석은 Landis and Koch의 기준을 따랐다[13]. 범주 수가 많을수록 분류가 세분화되어 일치율이 낮아지나, 실제 분석의 단위인 불만 유형과 핵심-보조 서비스 기준에서는 값이 높아진다. 정성 분석의 대상인 세 유형에 대해서는 83건을 층화 추출하여 추가로 검증하였으며, 이 표본에서는 8개 범주 기준 일치율이 91.6%였다. 두 표본을 합한 183건 기준으로는 79.2%( $κ = 0.750$ )이며, 이에 분류 결과를 그대로 사용하였다. 내용이 겹칠 우려가 가장 큰 업데이트 문제와 UI/사용성이 실제로 갈리는지도 확인하였다. 업데이트 문제로 분류된 리뷰는 86.4%가 업데이트나 개편을 명시적으로 언급한 반면 UI/사용성에서는 그 비율이 17.5%로, 서로 달랐다.

3.3 심각도 측정

본 연구에서 심각도는 불만이 서비스의 이용 지속을 위협하는 정도를 뜻하며, 불만의 표현 강도와 이용 중단 의사를 함께 아우른다. 앱 리뷰에서 불만 유형에 따라 별점의 분포가 다르게 나타난다는 보고[9]에 근거하되, 별점만으로는 포착되지 않는 축을 함께 보기 위해 세 지표로 접근하였다. 첫째는 유형 간 별점의 차이로, 각 유형의 별점 평균을 분산분석(ANOVA)으로 비교하되, 별점이 순서형임을 고려하여 Kruskal-Wallis 검정과 Dunn 사후검정을 함께 수행하였다. 둘째는 유형별 1점 리뷰의 비율로, 평균이 충분히 드러내지 못하는 극단적 불만을 분석한다. 1점 리뷰를 강한 불만의 지표로 사용하는 것이 타당한지는 1점과 2점 리뷰에서 각각 250건을 무작위로 추출하여 텍스트에 담긴 불만 강도를 언어모델로 평가하여 확인하였으며, 1점 리뷰의 강도가 더 높게 나타났다(3.60 대 3.22). 등분산성은 기각되지 않았으나 보수적으로 Welch 보정을 적용하였다(Levene $p = 0.338$ ; $t (495.1) = 6.05, p < 0.001$ , Cohen's $d = 0.541$ , 95% CI 0.363~0.720). 셋째는 이탈 의사 표명률이다. 금융 서비스에서 고객 이탈은 기업 성과와 직결되는 지표로 다루어져 왔으며[16], 이 지표는 별점과 구별되는 축에서 심각도를 측정한다. 리뷰 텍스트에 이용 중단이나 타 서비스 전환의 명시적 의사가 표명되었는지를 언어모델로 식별하되, 단순한 불만이나 분노의 표출, 문제 해결을 위한 재설치, 이탈을 시도하다 실패한 상황 등은 이탈 의사로 보지 않았다[부록 C]. 동일 표본 100건을 재분류한 결과 100%가 일치하여 결정성을 확인하였다. 모델이 이탈 의사로 판정한 50건과 그렇지 않은 50건을 층화 추출하여 연구자가 대조한 일치율은 84.0%( $κ = 0.680$ )였으며, 불일치는 모두 모델의 과잉 탐지 방향이었다. $κ$ 가 상대적으로 낮은 것은 양성과 음성을 같은 수로 추출한 표본이기 때문이다. 분모는 유형 간 비교에서 별점 1․2점 리뷰, 정성 분석에서 1점 리뷰로 서로 다르므로 두 분석의 표명률은 각 분석 내부의 비교로만 해석되어야 한다.

한편 본 연구가 보고하는 $2 \times 2$ 카이제곱은 연속성 수정을 적용하지 않은 Pearson 검정이며, Yates 연속성 수정을 적용한 값을 함께 제시하고 기대도수가 5 미만인 셀이 있는 비교에는 Fisher 정확검정을 병기하였다. 또한 핵심-보조 서비스 구분과 저해 여부․양상에 관한 11회의 카이제곱 검정에 대해 Benjamini-Hochberg 절차로 위발견율(FDR)을 보정한 $p$ 값을 함께 제시하였다. 이 가운데 핵심-보조 서비스 간 비교와 저해 양상 간 비교는 사전에 계획된 확인적 검정이며, 4.4절의 앱별 분석은 사후 탐색적 검정에 해당한다.

3.4 정성 분석

정성 분석의 대상은 앱별로 별점 1점 비율이 가장 높았던 유형, 즉 토스의 광고/이벤트, 카카오페이의 인증/고객센터, 네이버페이의 업데이트 문제이며, 규모는 각각 1,342건, 107건, 265건으로 총 1,714건이다. 정성 분석은 극단적 불만이 집중된 유형의 내부를 보는 것이므로 1점 비율을 선정 기준으로 삼았다. 각 유형에서 40건씩을 무작위로 추출하여 연구자가 언어모델의 분류를 보지 않고 코딩한 결과, 일치율은 세 유형 전체 88.3%였다. 각 유형 내부에서 반복적으로 나타나는 불만의 세부 내용은 무작위 표본을 정독하여 귀납적으로 도출하고 정의와 판정 순서를 갖춘 코딩북으로 정리한 뒤, 전체 리뷰를 이에 따라 분류하였다. 세부 내용이 데이터에 근거한 것인지는 두 가지 데이터 주도 방법과 대조하여 점검하였다. 각 유형의 1점 리뷰에 대해 별도로 수행한 LDA와, 세부 내용의 수만 3~5개로 제한하고 내용에 대한 기준 없이 스스로 도출하도록 한 언어모델의 결과 세 차례가 그것이다. LDA의 토픽 수는 일관성이 가장 높은 값을 채택하여 토스 7개, 네이버페이 2개였으며, 표본이 107건인 카카오페이는 어휘 빈도 분석으로 대체하였다. 두 방법이 제시한 세부 내용에서도 반복적으로 나타나는 불만의 축은 연구자의 것과 일치하였다[부록 D]. 이 대조는 불만 내용의 축이 데이터에서도 갈라지는지를 확인한 것이며, 그 단계에서는 양쪽의 결과가 서로 대응하였다. 최종 분류는 이후 각 세부 내용을 저해 양상에 따라 다시 나누어 확정하였으므로, 부록 D의 항목과 일대일로 맞아떨어지지는 않는다. 특히 네이버페이에서는 일관성 점수가 가장 높은 토픽 수가 2였는데, 이때 데이터가 결제․카드에 관한 불만과 통합․개편에 관한 불만으로 갈려 개편이 결제에 닿았는지가 1차적인 분할선으로 나타났다. 다만 광고가 핵심 서비스의 이용을 저해하는 세부 내용은 소수여서 별도의 토픽으로 분리되지 않았으며, 이 구분은 연구자가 리뷰의 서술에 근거하여 확정하였다. 한편 이 대조는 동일한 텍스트에 대한 다른 표현을 산출한 것이므로 독립 검증이 아니라 수렴적 확인에 해당한다. 신뢰도는 도출에 사용하지 않은 홀드아웃 표본 160건으로 확인하였으며 일치율은 88.1%였다.

한편 저해 여부는 개별 리뷰가 아니라 세부 내용 단위로 규정되므로, 저해와 비저해가 갈리는 경계에 놓인 세부 내용의 분류가 신뢰할 만한지를 별도로 확인하였다. 광고 불만에서 접근 방해․노출 피로․알림 발송을 가르는 분류와, 개편 불만에서 결제 동선의 훼손 여부를 가르는 분류를 대상으로 홀드아웃 표본 90건을 구성하였다. 1차 코딩에서 경계 판정의 불일치가 확인되어 그 사례를 검토한 결과, 광고에 의한 접근 방해와 단순한 노출 피로, 결제 동선의 훼손과 화면 구성의 불편 사이의 경계가 코딩북에 충분히 명시되지 않았음을 확인하여 분류 기준을 구체화하고 전체를 재분류하였다. 신뢰도는 기준 구체화에 사용하지 않은 새로운 홀드아웃 표본 90건 중 판정이 불명확한 8건을 제외한 82건에서 산출하였으며, 세부 내용 기준 일치율은 74.4%( $κ = 0.635$ ), 저해 여부 기준으로는 82.9%( $κ = 0.419$ )였다. 불일치는 네이버페이의 결제 동선 훼손과 화면 구성 불편 사이의 경계에 집중되었으며, 이 경계의 판정에 따라 저해로 분류되는 리뷰의 수가 달라질 수 있다. 다만 불일치가 집중된 네이버페이의 결제 동선 훼손 49건을 모두 비저해로 재분류하여도 설계형 22.1%(30/136) 대 비저해 13.5%(195/1,442)로 격차는 유지된다.

4. 연구 결과

4.1 리뷰 범주의 분포

전체 14,000건의 리뷰를 8개 범주로 분류한 결과는 <Table 1>과 같다. 핵심-보조 서비스는 해당 기능이 앱을 이용하는 목적 자체인지 그에 이르는 통로이거나 부가된 것인지로 구분하였다. 결제/금융서비스와 기능 오작동/성능이 핵심에, 인증/고객센터․업데이트 문제․UI/사용성․광고/이벤트가 보조에 해당한다. 이때 기능 오작동/성능은 특정 기능에 귀속되지 않는 앱 전반의 작동 실패를 가리키며, 개별 기능의 오작동은 해당 기능의 유형으로 분류하였다. 전체 14,000건을 분모로 할 때 기능 오작동/성능(24.3%)과 광고/이벤트(17.5%)가 빈번하게 나타났으며, 6개 불만 유형만을 분모로 하면 각각 31.9%와 23.0%이다. 다만 빈도가 심각도를 말해 주지는 않으므로, 이하에서는 유형별 심각도를 세 지표로 살펴본다.

4.2 유형별 심각도와 앱별 차이

이에 극단적 불만의 분포를 나타내는 1점 리뷰 비율을 함께 보았으며, 여기서도 같은 세 유형이 상위를 차지하였다. 두 지표가 가리킨 세 유형은 모두 보조 서비스에 속한다. 1점 여부를 종속변수로 하는 로지스틱 모형에 수집 시점(월)을 공변량으로 추가하여도 유형별 계수의 변화는 로그오즈 기준 최대 0.07에 그쳐, 유형 간 차이는 수집 시점을 통제한 뒤에도 유지되었다.

이하 별점을 기준으로 하는 분석은 카카오페이의 2024년 8월 구간과 전반 평가/부가서비스․기타를 제외한 6개 불만 유형 10,658건을 대상으로 한다.¹⁾ 유형 간 별점 평균의 차이는 통계적으로 유의하였고( $F (5, 10652) = 38.77, p < 0.001, η^{2} = 0.018, ω^{2} = 0.017$ ) 비모수 검정에서도 동일한 결론이 나타났다( $H (5) = 173.55, p < 0.001, ε^{2} = 0.016$ ). 사후검정(Dunn 검정, Benjamini-Hochberg 보정) 결과 <Table 2>에서 볼 수 있듯 별점 평균이 가장 낮은 유형은 인증/고객센터(1.80), 광고/이벤트(1.80), 업데이트 문제(1.83)였으며, 이 세 유형 간 차이는 유의하지 않았다. 다만 두 검정 모두 효과크기가 작고 여섯 유형의 평균도 1.80에서 2.38 사이에 몰려 있어 평균만으로는 심각도를 변별하기 어렵다.

앞의 두 지표가 모두 별점에 기반하는 데 비해, 이탈 의사 표명률은 별점의 높낮이와는 구별되는 축에서 심각성을 포착한다. 이탈 의사는 상대적으로 드물게 나타나므로 개별 유형 간 비교 대신 핵심-보조 서비스 간 비교를 수행하였다. <Table 3>에서 볼 수 있듯 핵심 서비스의 이탈 의사 표명률은 7.1%인 데 비해 보조 서비스는 10.6%로 더 높았으며 그 차이는 유의하였다( $χ^{2} (1) = 26.11, p < 0.001$ ). 이 차이는 UI/사용성을 보조에서 제외하거나 핵심으로 재분류한 경우에도 유지되었다( $χ^{2} (1) = 33.70, 39.29; p < 0.001$ ).

이러한 양상이 앱에 따라 달라지는지를 이원분산분석으로 검토한 결과 앱과 유형의 상호작용이 유의하였다( $F (10, 10640) = 4.65, p < 0.001, partial η^{2} = 0.004$ ; Type III 제곱합, 주효과는 부록 E). 다만 효과크기가 작아, 앱에 따라 달라지는 것은 경향의 방향이 아니라 어떤 유형에서 그 경향이 두드러지는가이다. <Table 4>에서 볼 수 있듯 각 앱별로 1점 리뷰 비율이 가장 높은 유형은 토스가 광고/이벤트(64.6%), 카카오페이가 인증/고객센터(74.8%), 네이버페이가 업데이트 문제(79.1%)로 서로 달랐다. 세 앱을 통합한 서열은 토스의 비중에 영향을 받았을 수 있으나, 앱별로 나누어 보아도 가장 높은 1점 비율은 모두 보조 서비스에서 나타났다. 빈도에서는 핵심 서비스에 속하는 기능 오작동/성능이 가장 많았으나, 세 심각도 지표가 가리킨 것은 모두 보조 서비스였다.

4.3 세부 내용과 핵심 서비스 저해

세 유형이 왜 각 앱에서 가장 심각한 불만이 되었는지, 그리고 세 유형 사이에 어떤 공통점이 있는지는 유형 분류만으로 설명되지 않는다. <Table 5>에서 볼 수 있듯 각 유형의 내부는 여러 세부 내용으로 나뉘며, 그중 어떤 것이 결제․송금이라는 핵심 서비스의 이용을 저해하는지에 주목하였다. 저해란 보조 요소가 핵심 서비스로의 접근이나 수행을 방해하는 경우를 말하며, 보조 요소가 정상적으로 작동함에도 그 설계․정책․노출 방식으로 인해 이용이 가로막히는 경우와 보조 요소의 결함이 이용 중단으로 이어지는 경우가 모두 이에 해당한다. 반면 보조 요소 자체의 문제에 그쳐 핵심 서비스의 이용에 닿지 않는 경우는 저해로 보지 않으며, 이하 이를 비저해라 한다. 어느 세부 내용에 속하는지 판정하기 어려운 73건은 제외하여, 저해 여부에 관한 분석은 1,641건을 대상으로 한다. 대표 사례는 코딩의 근거이므로 한국어 원문 그대로 인용하였으며, 말줄임표는 생략을 뜻한다.

토스에서는 불만이 가장 많이 모인 곳과 이탈 의사가 가장 자주 표명된 곳이 어긋났다. 광고 불만의 대부분은 광고가 성가시다는 데 관한 것으로, 이들은 신뢰를 훼손하거나 사용자를 피로하게 만들지만 결제와 송금을 건드리지는 않는다. 반면 광고가 앱 진입이나 기능 이용을 가로막거나 핵심 기능을 수행하는 도중에 끼어드는 경우는 전체의 7.2%에 그쳤다. 한 사용자는 “본인인증만 받아서 토스페이먼트 결제 진행하려고 하는데 ‘토스에서 뭘 먼저 해볼까요?’ 팝업은 왜 자꾸 뜨죠? … 포기했네요”라고 진술한다. 광고는 기술적 결함 없이 정상적으로 작동하고 있었고, 그럼에도 사용자는 의도한 거래를 완료하지 못하였다. 이 7.2%에서 이탈 의사가 표명된 비율은 22.9%로 나머지 광고 불만의 14.2%보다 높았다( $χ^{2} (1) = 5.41, p = 0.020$ ).

카카오페이가 보여주는 것은 사용자가 취할 대안이 없을 때 불만이 이탈로 이어진다는 점이다. 가장 큰 비중을 차지한 것은 계정․자격에 의한 기능 차단(37.4%)이었고, 인증 실패와 고객센터 응대에 대한 불만이 그 뒤를 이었다. 단순 인증 실패와 반복 인증은 실패 자체를 진술할 뿐 결제․송금의 이용이 막혔다는 서술에 이르지 않아 저해로 보지 않았다. 그러나 계정․자격에 의한 차단은 성격이 다르다. 카카오톡 계정과 페이 계정의 불일치, 중복 계정 판정, 본인확인의 반복 요구 등 사용자의 규칙 위반 없이 자금 이용이 제한되며, 시스템이 정상적으로 작동함에도 이미 예치한 자금에 접근하지 못하게 된다. 한 사용자는 “개인정보 재확인으로 송금 기능을 막을거면 충전할 때 인지시켜야지, 충전만 가능하게 하고 송금을 막으면, 내 계좌로 돈 다시 돌려놓을 수도 없는데”라고 진술하였다. 충전은 열어 두고 송금만 차단하는 것은 결함이 아니라 본인확인 정책이 의도대로 적용된 결과다. 자금 접근이 차단된 리뷰의 이탈 의사 표명률은 20.0%로 그렇지 않은 인증 불만의 5.0%를 웃돌았다( $χ^{2} (1) = 5.52, p = 0.019$ ; Fisher 정확검정 $p = 0.025$ ). 다만 1점 리뷰가 107건에 그쳐 비율의 안정성에는 한계가 있다.

네이버페이의 저해는 결제 불능과 결제 동선의 훼손으로 나뉜다. 업데이트 불만은 개편이 결제에 닿았는지로 나뉘며, 둘을 합한 42.3%가 결제와 직접 관련되었다. 나머지는 화면 구성과 타 서비스 통합에 대한 불만으로, 개편을 불쾌하게 여기지만 결제 자체를 막지는 않는다. 결제 불능은 바코드가 표시되지 않거나 결제 화면이 열리지 않는 경우이고, 동선 훼손은 결제 기능이 정상적으로 작동함에도 사용자가 그에 이르지 못하는 경우다. 한 사용자는 “오늘 결제할려는데 업데이트 이상하게 바뀌어서 상당히 불편함 … 결제카드 못찾아서 다른걸로 결제”라고 진술하였다. 저해에 해당한 리뷰 전체의 이탈 의사 표명률은 14.3%로 비저해 불만(8.0%)과 유의한 차이를 보이지 않았다( $χ^{2} (1) = 2.39, p = 0.122$ ). 다만 저해 안에서 동선 훼손은 22.4%, 결제 불능은 7.9%로 갈렸다.

4.4 저해 양상별 분석

세 앱의 저해 사례를 종합하면 저해는 두 양상으로 나뉜다. 하나는 설계형으로, 보조 요소가 의도한 대로 작동하지만 그 설계․정책․배치로 인해 핵심 서비스가 밀려나는 경우다. 다른 하나는 기능불능형으로, 보조 요소의 결함으로 핵심 기능이 작동하지 않는 경우다. 토스의 광고 개입과 접근 방해, 카카오페이의 계정․자격에 의한 차단, 네이버페이의 결제 동선 훼손이 전자에 해당하고, 네이버페이의 개편 이후 결제 불능이 후자에 해당한다. 저해 248건은 설계형 185건과 기능불능형 63건으로 나뉜다.

이탈 의사는 두 양상 가운데 설계형에 집중되었다. <Table 6>에서 볼 수 있듯 설계형에서 이탈 의사가 표명된 비율은 22.2%로 비저해 불만(13.2%)보다 높았다( $χ^{2} (1) = 10.71, p = 0.001$ ; 비율 차이 9.0%p, 95% CI 2.7~15.2). 한편 기능불능형에 해당하는 63건의 표명률은 7.9%로, 같은 앱의 비저해 불만(8.0%)과 다르지 않았다. 두 양상의 차이는 유의하였다( $χ^{2} (1) = 6.30, p = 0.012$ ; 차이의 95% CI 5.3~23.2%p). 따라서 저해 여부만으로 묶었을 때 관찰되는 차이(18.5% 대 13.2%, $χ^{2} (1) = 4.98, p = 0.026$ )는 설계형에서 비롯된 것이며, 기능불능형이 함께 묶이면서 오히려 약화된 값이다. 다만 기능불능형 63건이 네이버페이의 단일 세부 내용에 집중되어 있어 이 대조는 탐색적 관찰에 머문다.

저해 여부는 개별 리뷰가 아니라 세부 내용 단위로 규정되므로, 같은 세부 내용에 속한 리뷰들을 서로 독립적인 관측치로 보기는 어렵다. 이를 고려하여 세부 내용 16개를 임의절편으로 하는 혼합효과 로지스틱 회귀(변분베이즈 추정)로 재검토한 결과 비저해 대비 설계형의 오즈비는 2.36(95% 신용구간 1.67~3.35)이었다. 세부 내용을 하나씩 제외한 민감도 분석에서도 16회 모두 유의성이 유지되었으며, 설계형의 39%를 차지하는 토스의 접근 방해를 제외한 경우에도 마찬가지였다( $p = 0.004$ , 16회 중 최댓값 $p = 0.006$ ). 같은 모형에 기능불능형이 집중된 시점을 공변량으로 추가하여도 설계형 2.35(95% 신용구간 1.65~3.34), 기능불능형 0.73(0.30~1.78)으로 두 양상의 대비는 유지되었다.

앱 구성의 차이가 이 연관을 만들어 낸 것은 아닌지도 확인하였다. 앱을 층으로 하는 Cochran-Mantel-Haenszel 검정에서 앱을 고려하지 않은 오즈비는 1.87이었으나 앱을 층으로 통제한 공통 오즈비는 2.28(95% CI 1.51~3.44, $χ^{2} (1) = 15.65, p < 0.001$ )로, 앱을 통제하면 연관은 오히려 강해졌다. 세 앱의 오즈비가 동질하다는 가설도 기각되지 않았으므로(Breslow-Day $χ^{2} (2) = 2.58, p = 0.276$ ), 이 값은 층별로 다른 연관을 평균한 것이 아니라 세 앱에 공통된 크기로 볼 수 있다.

이 구분은 앱별 결과의 불일치도 설명한다. 저해 여부만으로 묶어 검정하면 그 연관은 토스( $χ^{2} (1) = 5.41, p = 0.020$ )와 카카오페이( $χ^{2} (1) = 5.52, p = 0.019$ )에서는 유의하였으나 네이버페이에서는 그렇지 않았다. 그러나 토스와 카카오페이의 저해는 전부 설계형이므로 두 앱에서 이미 검정된 것도 설계형과 비저해의 차이였다. 세 앱 가운데 네이버페이만이 저해 112건 중 63건(56.3%)을 기능불능형으로 포함한다. 따라서 세 앱을 같은 기준에 두려면 설계형만을 대상으로 검정해야 하며, 이때 네이버페이에서도 이탈 의사 표명률은 22.4%로 비저해 불만(8.0%)보다 유의하게 높았다( $χ^{2} (1) = 6.92, p = 0.008$ ; Fisher 정확검정 $p = 0.017$ ). 설계형과 비저해의 차이는 세 앱 모두에서 독립적으로 유의하다. 앱별 결과의 불일치는 저해와 이탈 의사의 연관이 앱마다 다르기 때문이 아니라, 네이버페이에만 기능불능형이 섞여 있어 저해 전체를 묶으면 연관이 희석되기 때문이다.

이탈 의사 판정의 오차가 저해 양상에 따라 다르게 나타난다면 설계형과 비저해의 격차는 측정 편향의 산물일 수 있다. 이를 확인하기 위해 정성 분석의 대상인 1점 리뷰에서 모델이 이탈 의사로 판정한 설계형 저해 리뷰 전수와 비저해 리뷰의 무작위 표본을 연구자가 대조하였다. 그 결과 이탈 의사 판정은 저해 양상에 따라 갈리지 않았다. 정밀도는 설계형 95.1%(39/41), 비저해 82.1%(46/56)로 두 집단 간 차이가 유의하지 않았고(차이 13.0%p, 95% CI −0.8~25.5, Fisher $p = 0.067$ ), 설계형의 정밀도가 더 낮다 하더라도 그 차이는 최대 0.8%p이다. 위음성률도 각각 0.0%(0/46)와 4.1%(2/49)로 다르지 않았다(Fisher $p = 0.495$ ). 실제 구성비로 가중한 재현율과 F1은 각각 79.4%와 81.9%였다. 즉 오차의 방향은 설계형에서 오히려 정확도가 높은 쪽이므로, 관측된 격차는 판정 오차에 의해 부풀려진 것이 아니라 오히려 과소평가되었을 가능성이 크다.

세 앱의 가장 심각한 불만 유형은 서로 달랐고, 그것이 사용자에게 작용하는 방식도 같지 않았다. 그러나 각 유형의 세부 내용을 살펴보면 심각한 불만이 발생하는 지점은 하나로 모인다. 광고가 많다는 것도, 인증이 반복된다는 것도, 화면이 낯설어졌다는 것도 성가심이나 적응의 문제에 머물렀다. 불만의 성격이 바뀌는 것은 보조 요소가 제 기능을 수행하는 방식 자체가 핵심 서비스를 밀어낼 때였다. 비교 대상이 모두 1점 리뷰이므로 이 차이는 불만의 크기가 아니라 불만이 향한 지점에서 비롯된다.

5. 결 론

본 연구는 토스․카카오페이․네이버페이의 리뷰 약 14,000건을 대상으로 부정 리뷰의 유형과 심각도를 분석하고, 앱별로 1점 리뷰 비율이 가장 높았던 유형의 1점 리뷰 전체를 정성적으로 살펴보았다. 사용자가 가장 강하게 반응한 불만은 핵심 서비스 자체의 결함이 아니라 광고․인증․업데이트와 같은 보조 서비스에서 나타났고 어떤 보조 서비스가 문제가 되는지는 앱마다 달랐으나, 보조 서비스에 대한 불만이 모두 심각했던 것은 아니다. 이탈 의사가 자주 표명된 것은 보조 요소가 핵심 서비스의 이용을 저해할 때, 그중에서도 보조 요소가 정상적으로 작동하면서 핵심을 밀어내는 설계형 저해에서였으며, 이 연관은 세 앱 각각에서 독립적으로 관찰되었다.

이러한 결과는 서비스 품질 요소의 성격에 관한 기존 논의로 사후적으로 해석할 수 있다. Kano et al.[8]에 따르면 어떤 품질 요소는 충족되어도 만족을 크게 높이지 않지만 불충족되면 강한 불만을 유발한다. 결제․송금과 그 정상적 작동은 사용자가 당연히 기대하는 요소이므로, 이용이 방해받을 때 강한 불만으로 이어지는 것으로 해석할 수 있다. 한편 이 결과는 서비스 구조에 관한 논의를 보완한다. Wirtz and Lovelock[20]은 보조 서비스를 핵심 서비스의 이용을 돕거나 가치를 더하는 요소로 규정하였으나, 본 연구가 관찰한 것은 보조 서비스가 핵심 서비스의 이용을 방해하는 경우였다. 특히 설계형 저해에서 각각의 보조 요소는 그 자체로는 정상적으로 작동하고 있었으며, 저해는 기능의 결함이 아니라 서비스 설계와 정책의 결과로 나타났다.

기능불능형 63건의 이탈 의사 표명률이 같은 앱의 비저해 불만과 다르지 않았다는 것은, 이탈 의사가 핵심 서비스의 이용이 막혔다는 사실 자체보다 그것이 설계의 결과로 나타났는지와 함께 관찰됨을 시사한다. 결함은 복구를 기대할 수 있는 일시적 상태로 여겨지는 반면, 설계에 의한 저해는 운영자의 판단이 남긴 결과이므로 사용자가 이를 서비스의 태도로 받아들이는 것으로 볼 수 있다. 다만 이 63건은 한 앱의 한 세부 내용에 해당하므로 탐색적 관찰에 머문다.

본 연구의 기여와 시사점은 다음과 같다. 첫째, 불만 유형의 도출에 머물렀던 기존 리뷰 분석과 달리, 본 연구는 가장 심각한 불만이 정상 작동하는 보조 요소가 설계에 의해 핵심의 이용을 밀어내는 지점에서 나타남을 밝혀 분석의 초점을 빈도에서 심각도로 옮겼다. 둘째, 대규모 언어모델로 유형뿐 아니라 이탈 의사와 같이 별점과 구별되는 지표까지 측정하는 접근을 제시하였다. 셋째, 실무적으로 빈도만을 기준으로 대응하면 심각한 불만이 후순위로 밀릴 수 있으며, 점검의 대상은 보조 요소의 고장이 아니라 정상 작동하는 보조 요소가 핵심의 이용을 밀어내는지 여부다. 이는 결제․송금을 기반으로 광고․이벤트 등 부가서비스를 확장해 온 세 앱이 공통으로 마주하는 위험이다.

본 연구는 다음과 같은 한계를 지닌다. 첫째, 핵심과 보조를 구분한 기준과 저해에 대한 규정은 본 연구의 조작적 정의에 근거하며 다른 분류도 가능하다. 예컨대 본인 인증은 보안의 관점에서 핵심으로 볼 여지도 있으나, 인증/고객센터를 핵심으로 재분류한 경우에도 보조 서비스의 이탈 의사 표명률이 핵심보다 높게 나타나(각각 10.7%, 7.8%; $χ^{2} (1) = 18.99, p < 0.001$ ) 결론은 이 구분의 세부에 좌우되지 않는다. 저해 여부의 판정 역시 결제 동선의 훼손과 화면 구성의 불편 사이 경계에서 불일치가 남으나, 3.4절에서 확인하였듯 해당 리뷰를 모두 비저해로 재분류하여도 격차는 유지된다. 다만 연구자와 언어모델의 일치율이 높다는 것이 판정 기준 자체의 타당성을 보장하지는 않으므로, 제3의 코더에 의한 독립 검증은 본 개정에서 수행하지 못한 후속 과제로 남는다. 둘째, 본 연구는 연관을 관찰한 것으로 인과관계를 검증한 것은 아니다. 또한 설계형과 기능불능형의 구분은 동일한 데이터에서 귀납적으로 도출되어 같은 데이터로 검정되었으므로, 두 양상에 관한 결과는 확인적이라기보다 탐색적 성격을 지닌다. 셋째, 이탈 의사 표명률은 텍스트에 드러난 의사를 측정한 것으로 실제 이탈 행동과 구별되며, 1․2점 리뷰 대조에서 정밀도는 68.0%( $n = 50$ )로 과잉 탐지 경향을 보였다. 또한 1점 리뷰를 강한 불만의 지표로 삼은 근거 역시 다른 측정에도 사용된 것과 같은 언어모델로 평가한 것이어서 순환 검증의 성격을 지닌다. 이 오차가 저해 양상에 따라 다르게 나타나는지는 4.4절에서 확인하였다. 다만 대조 표본이 설계형 41건과 비저해 56건에 그치며, 설계형은 모델이 이탈 의사로 판정한 전수에 해당하여 그 이상 확보할 수 없었다. 넷째, 구글 플레이 리뷰만을 분석하였고 앱별 표본 크기가 고르지 않으며, 정성 분석의 대상은 각 앱에서 1점 비율이 가장 높았던 유형 하나로 한정된다. 또한 분석 단위가 앱이므로 각 앱의 리뷰는 해당 간편결제 서비스만이 아니라 송금․조회 등 앱이 제공하는 기능 전반에 대한 평가를 포함한다. 특히 기능불능형 저해는 네이버페이의 단일 세부 내용에 한정되므로 저해 양상 일반으로 일반화할 수 없다. 이 세부 내용이 특정 개편 시점에 집중된 데 따른 영향은 4.4절에서 통제하였다. 후속 연구에서는 여러 플랫폼과 여러 유형에 걸쳐 저해 양상의 구분을 검증하고, 표명된 이탈 의사가 실제 이탈로 이어지는지를 행동 데이터와 연결하여 확인할 필요가 있다.

Acknowledgement

This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea(NRF-2024S1A5C2A03046177).

Figure

<Figure 1>.

Research Procedure

Table

<Table 1>.

Distribution of Reviews by Category

Note: Based on all 14,000 reviews (excluded: 2,796 general or add-on remarks, 509 undetermined). Section 4 uses 13,858 reviews, excluding Kakao Pay's August 2024 period.

Service type	Category	Frequency (%)	Description
Core	Malfunction/Performance	3,407 (24.3)	Errors, freezes, and responsiveness of app operation
Payment/Financial Services	1,060 (7.6)	Execution of payment and transfer transactions
Supplementary	Advertising/Events	2,456 (17.5)	Advertising exposure and reward/event operation
Update Issues	1,631 (11.7)	Problems following app updates and redesigns
UI/Usability	1,127 (8.1)	Layout, controls, and readability
Authentication/Customer Service	1,014 (7.2)	Identity verification, login, and customer support
Excluded	General Evaluation/Add-on Services and Other	3,305 (23.6)	Remarks that mention the app or its add-on services without specifying a complaint, or undetermined

<Table 2>.

Mean Rating and Share of One-Star Reviews by Complaint Type

Note: Based on the 10,658 reviews in the six complaint types. Lower ratings indicate more negative reviews. Because the variances differ across types (Levene W(5,10652)=60.66,p<0.001), the post-hoc comparison uses Dunn's test with Benjamini-Hochberg adjustment rather than a test assuming equal variances. The three types with the lowest mean ratings do not differ significantly from one another and are therefore given the same rank; the remaining types follow in order of mean rating.

Rank	Complaint type	Mean rating	One-star share (%)	Service type
1	Authentication/Customer Service	1.80	67.2	Supplementary
1	Advertising/Events	1.80	65.4
1	Update Issues	1.83	63.8
4	Malfunction/Performance	1.96	57.9	Core
5	Payment/Financial Services	2.14	56.5
6	UI/Usability	2.38	48.1	Supplementary

<Table 3>.

Exit Intention Rate by Service Type (One- and Two-Star Reviews, n=7,522)

Note: Based on the 7,522 one- and two-star reviews in the six complaint types. Core–supplementary difference χ2(1)=26.11,p<0.001 (Yates χ2(1)=25.70,p<0.001; BH-adjusted p<0.001); odds ratio 1.54 (95% CI 1.30–1.82); difference in rates 3.5 percentage points (95% CI 2.2–4.8).

Service type	Included types	Exit intention rate (%)
Core	Payment/Financial Services, Malfunction/Performance	7.1
Supplementary	Advertising/Events, Authentication/Customer Service, Update Issues, UI/Usability	10.6

<Table 4>.

Share of One-Star Reviews by App and Complaint Type (%)

Note: Based on the 10,658 reviews in the six complaint types. Bold indicates the type with the highest one-star share in each app. In all three apps the highest share occurs in a supplementary service type.

App	Core	Supplementary
Toss	51.5	53.2	62.2	58.8	45.4	64.6
Kakao Pay	68.7	71.0	74.8	68.3	39.5	69.6
Naver Pay	66.1	65.8	77.5	79.1	59.5	69.6
Total	56.5	57.9	67.2	63.8	48.1	65.4

<Table 5>.

Sub-Categories of the Most Severe Complaint Type in Each Application

Note: All one-star reviews of the most severe complaint type in each application (n=1,714). ○ = impedes use of the core service, × = does not, – = not determinable from the text. The last column applies only to impeding sub-categories: design-induced = the element worked as intended but its design, policy or placement blocked the core service; failure-induced = a breakdown of the element stopped it. For the three within-application comparisons reported in the text, the Yates-corrected values are χ2(1)=4.74 (p=0.029) for Toss, 4.09 (p=0.043) for Kakao Pay and 1.79 (p=0.181) for Naver Pay, with odds ratios 1.80 (95% CI 1.09–2.98), 4.75 (1.18–19.18) and 1.92 (0.83–4.42); the Benjamini-Hochberg adjusted p values are 0.024, 0.024 and 0.122.

Sub-category	Frequency (%)	Impedes core service	Form of obstruction
Toss – Advertising/Events (n=1,342)
Loss of rewards or changed conditions	404 (30.1)	×	–
Advertising fatigue	360 (26.8)	×	–
Meager rewards	176 (13.1)	×	–
Promotional notifications and messages	141 (10.5)	×	–
Malfunction of event and reward features	127 (9.5)	×	–
Advertising blocking access to features	72 (5.4)	○	Design-induced
Advertising intruding during core service use	24 (1.8)	○	Design-induced
Undetermined	38 (2.8)	–	–
Kakao Pay – Authentication/Customer Service (n=107)
Features blocked by account or eligibility	40 (37.4)	○	Design-induced
Authentication or login failure	34 (31.8)	×	–
Poor customer service response	16 (15.0)	×	–
Repeated or excessive authentication	10 (9.3)	×	–
Undetermined	7 (6.5)	–	–
Naver Pay – Update Issues (n=265)
Inconvenient layout after redesign	74 (27.9)	×	–
Payment failure after update	63 (23.8)	○	Failure-induced
Objection to integration of other services	51 (19.2)	×	–
Disrupted payment path after redesign	47 (17.7)	○	Design-induced
Disrupted payment path after integration	2 (0.8)	○	Design-induced
Undetermined	28 (10.6)	–	–

<Table 6>.

Exit Intention Rate by Form of Obstruction (One-Star Reviews, n=1,641)

Note: Based on the 1,641 one-star reviews for which obstruction could be determined. Cells report the number of reviews stating exit intention over the number of reviews in the group, with the rate in parentheses. Design-induced obstruction differs from no obstruction (χ2(1)=10.71,p=0.001; Yates 9.99, p=0.002; BH-adjusted p=0.002; odds ratio 1.87, 95% CI 1.28–2.74; φ=0.082), and the two forms differ from each other (χ2(1)=6.30,p=0.012; Yates 5.39, p=0.020; BH-adjusted p=0.019; odds ratio 3.30, 95% CI 1.24–8.78). Obstruction as a whole differs from no obstruction less strongly (χ2(1)=4.98,p=0.026; Yates 4.55, p=0.033; BH-adjusted p=0.028; odds ratio 1.50, 95% CI 1.05–2.14). Within Naver Pay the design-induced form differs from no obstruction (χ2(1)=6.92,p=0.008; Yates 5.63, p=0.018; BH-adjusted p=0.016; Fisher p=0.017) whereas obstruction as a whole does not (14.3% vs. 8.0%, χ2(1)=2.39,p=0.122). Reported p values are uncorrected except where BH-adjusted values are given; the adjustment was applied across the 11 tests on the core–supplementary distinction and on obstruction. The failure-induced form occurs only in Naver Pay, in a single sub-category of 63 reviews.

App	Design-induced obstruction	Failure-induced obstruction	No obstruction
Toss	22 / 96 (22.9)	-	171 / 1,208 (14.2)
Kakao Pay	8 / 40 (20.0)	-	3 / 60 (5.0)
Naver Pay	11 / 49 (22.4)	5 / 63 (7.9)	10 / 125 (8.0)
Total	41 / 185 (22.2)	5 / 63 (7.9)	184 / 1,393 (13.2)

<Appendix Table A-1>.

LDA Model Specification

Note: The model was trained on the full corpus rather than on negative reviews alone, because the complaint type had to be related to the star rating.

Item	Setting	Item	Setting	Item	Setting
Corpus	All 14,000 reviews	passes	10 (search) / 15 (final)	no_below	5
k	7 (compared over 4-11)	iterations	50 (default)	no_above	0.5
alpha	symmetric (1/k=0.143)	chunksize	2,000 (default)	Vocabulary	2,716 after filtering
eta	symmetric (1/k=0.143)	decay	0.5 (default)	Library	gensim 4.4.0 (LdaModel, CoherenceModel c_v)
random_state	42 for the final model; ten different seeds for the k comparison in Table A-2	Tokenizer	Okt, stem=True; noun/verb/adjective	Stopwords	37 terms, researcher-compiled

<Appendix Table A-2>.

Coherence Scores by Number of Topics

Note: k=7 was chosen because each topic corresponds to one review category (<Appendix Table B>).

Number of topics (k)	4	5	6	7	8	9	10	11
Single seed	0.520	0.510	0.559	0.572	0.560	0.558	0.544	0.561
Mean of 10 seeds	–	0.556	0.565	0.570	0.574	0.565	–	–
SD of 10 seeds	–	0.024	0.021	0.025	0.014	0.015	–	–

<Appendix Table B>.

Top Terms and Prevalence of the Seven LDA Topics

Note: Prevalence is each topic's share of the total topic mass across the 14,000 documents. From the top terms the researcher assigned T1 to General Evaluation/Add-on Services, T2 to Advertising/Events, T3 to UI/Usability, T4 to Update Issues, T5 to Payment/Financial Services, T6 to Malfunction/Performance and T7 to Authentication/Customer Service; 'Other' has no topic and holds reviews falling under none of the seven.

Topic	Prev. (%)	Top 15 terms (Korean)
T1	15.3	좋다, 사용, 부동산, 기능, 편하다, 편리하다, 토스, 자다, 불편하다, 많다, 정말, 감사하다, 보다, 카드, 검색
T2	15.4	광고, 포인트, 받다, 주다, 이벤트, 보다, 아니다, 토스, 고양이, 미션, 보기, 키우다, 혜택, 모으다, 적립
T3	9.0	누르다, 뜨다, 화면, 보기, 토스, 나오다, 버튼, 들어가다, 않다, 복권, 송금, 갑자기, 켜다, 넘어가다, 고치다
T4	16.4	업데이트, 불편하다, 계좌, 화면, 바꾸다, 쓰다, 사용, 바뀌다, 토스, 자다, 보다, 안되다, 카드, 이번, 보기
T5	12.6	페이, 결제, 네이버, 증권, 카카오, 주식, 알림, 토스, 삼성, 해주다, 끄다, 뜨다, 설정, 만들다, 오다
T6	14.0	안되다, 오류, 교통카드, 인식, 충전, 카드, 느리다, 설치, 문제, 뜨다, 돼다, 사용, 자다, 토스, 걸리다
T7	17.3	인증, 토스, 아니다, 안되다, 계좌, 받다, 쓰다, 않다, 로그인, 고객, 결제, 확인, 본인, 만들다, 카드

<Appendix Table C>.

Language Model Configuration

Item	Setting
Model	Gemini 2.5 Flash (gemini-2.5-flash), the stable general-availability release of 17 June 2025; the 2.5 Flash stable channel does not provide separately dated snapshots (runs conducted in June – July 2026)
Access	Google AI Studio API, called from Google Colab with the google-genai Python SDK
Parameters	temperature = 0; thinking_budget = 0 (internal reasoning disabled); maxOutputTokens = 10 for the intensity and exit-intention tasks; default (65,536) for the classification task; runs aborted if any thinking token is consumed; one review per request, submitted independently
Tasks	Review category classification / complaint intensity rating / exit intention identification

<Appendix Table D>.

Researcher Sub-Categories Compared with Two Data-Driven Methods

Note: Column 2 reports LDA topics estimated on the one-star reviews of each type (Toss k=7, coherence 0.473; Naver Pay k=2, 0.380); Kakao Pay had only 107 such reviews and was examined by term frequency instead. Column 3 reports sub-categories the model derived on its own, constrained only in number (three to five) and repeated three times; the runs agreed apart from wording. Both were obtained after the researcher's sub-categories and were used to check whether the axes of recurring complaint appear in the data. The final sub-categories were then divided further by the form of obstruction, so the items do not correspond one to one. Where the obstructing sub-category is small (5.4% and 1.8% of Toss one-star reviews) it formed no separate topic, whereas for Naver Pay the two topics divided the data by whether the redesign reached payment.

Researcher sub-category	Data-driven topic / terms	Sub-category derived by the model (3 runs)
Toss — Advertising fatigue / Promotional notifications	광고, 보다, 보기, 나오다 / 광고, 알림, 끄다 / 이벤트, 미션, 알림, 받다, 보내다	Excessive advertising and notifications
Toss — Loss of rewards or changed conditions / Meager rewards	고양이, 키우다, 사료, 모으다 / 이제, 주다, 받다 / 복권, 이벤트, 포인트, 당첨	Reduced benefits and unfair or opaque rewards
Toss — Malfunction of event and reward features	광고, 받다, 포인트, 나오다, 복권	Problems with events and missions
Kakao Pay — Features blocked by account or eligibility	계정+로그인(10), 가입+계정(8), 계정+탈퇴(7); 계좌(12), 송금(7), 충전(4)	Account management and linkage problems / Service restrictions
Kakao Pay — Authentication or login failure	로그인(29), 인증(26), 신분증(19)	Authentication and login errors
Kakao Pay — Poor customer service response	고객+센터(7), 해결(8)	Customer service complaints
Naver Pay — Payment failure after update / Disrupted payment path	결제, 카드, 바꾸다, 화면, 바뀌다, 이전	Payment errors and inconvenience / Blocked or restricted access
Naver Pay — Inconvenient layout after redesign	결제, 카드, 화면, 바뀌다, 이전	Regression in UI/UX
Naver Pay — Objection to integration of other services	페이, 네이버, 부동산, 삼성	Feature integration and unnecessary additions

<Appendix Table E-1>.

Sensitivity of Key Results to the Exclusion and to App Weighting (%)

Note: Rows 1 – 6 are shares of one-star reviews; the last two rows are exit intention rates among one- and two-star reviews. Columns 1 – 2 compare the sample before (n=10,695) and after (n=10,658) the exclusion of Kakao Pay's August 2024 period: no figure moves by more than 0.4 points (mean ratings 1.947 and 1.948) and the core – supplementary difference in exit intention is χ2(1)=26.28 before and 26.11 after (both p<0.001). Columns 3 – 4 re-weight the applications, since Toss is 70% of the sample; the rank correlation with column 2 is 0.943 in both (Spearman).

Complaint type	Before exclusion	After exclusion	Equal weight per app	Inverse-n weight
Authentication/Customer Service	67.4	67.2	71.5	74.8
Advertising/Events	65.4	65.4	67.9	69.1
Update Issues	63.8	63.8	68.7	72.0
Malfunction/Performance	58.0	57.9	63.4	67.3
Payment/Financial Services	56.9	56.5	62.1	66.1
UI/Usability	48.1	48.1	48.2	48.5
Exit intention — core	7.1	7.1	–	–
Exit intention — supplementary	10.6	10.6	–	–

<Appendix Table E-2>.

Two-Way ANOVA of Star Rating (Type III)

Note: Based on the 10,658 reviews in the six complaint types; the interaction sum of squares is identical under Type II. Analyses were run in Python with statsmodels and scipy.

Source	F	p	Partial η2
Complaint type	F(5,10640)=24.57	<0.001	0.011
Application	F(2,10640)=64.35	<0.001	0.012
Type × Application	F(10,10640)=4.65	<0.001	0.004

Reference

Assi, M., Hassan, S., and Zou, Y., LLM-Cure: LLM-Based Competitor User Review Analysis for Feature Enhancement, ACM Transactions on Software Engineering and Methodology, 2026, Vol. 35, No. 4, Article No. 94, pp. 1-25.
The Bank of Korea, Electronic Payment Service Usage in 2025 [Press Release], https://www.bok.or.kr (accessed on 2026.06.30).
Cho, S.-J. and Kim, J.-E., A Comparative Analysis of Dark Patterns in Traditional Banking vs. Internet-only on Mobile Applications, Journal of the HCI Society of Korea, 2024, Vol. 19, No. 2, pp. 15-23.
Financial Supervisory Service, Results of the On-site Inspection of Kakao Pay's Overseas Payment Division [Press Release], https://www.fss.or.kr (accessed on 2026.07.07).
Gray, C.M., Kou, Y., Battles, B., Hoggatt, J., and Toombs, A.L., The Dark (Patterns) Side of UX Design, Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 2018, Montreal, Canada, Paper No. 534, pp. 1-14.
Hong, J.-L., Yu, M.-R., and Choi, B.-R., An Analysis of Mobile Augmented Reality App Reviews Using Topic Modeling, Journal of Digital Contents Society, 2019, Vol. 20, No. 7, pp. 1417-1427.
Jang, W.-J., Lee, S.-W., and Kim, Y.J., Comparison of Korean and US Bank App Reviews Before and After the Pandemic Using Topic Modeling, Journal of Business Convergence, 2023, Vol. 8, No. 5, pp. 147-153.
Kano, N., Seraku, N., Takahashi, F., and Tsuji, S., Attractive Quality and Must-be Quality, Journal of the Japanese Society for Quality Control, 1984, Vol. 14, No. 2, pp. 39-48.
Khalid, H., Shihab, E., Nagappan, M., and Hassan, A.E., What Do Mobile App Users Complain About?, IEEE Software, 2015, Vol. 32, No. 3, pp. 70-77.
Kim, H.-W. and Kim, S.-I., A Study on User Experience of Fintech Application Service: Focused on Toss and Kakaobank, Journal of Digital Convergence, 2020, Vol. 18, No. 1, pp. 287-293.
Kim, M.-K., A Study on Exploring of User Satisfaction and Dissatisfaction Factors in the Mobile Service Industry: Focused on Mobile App Service Review Analysis, Journal of Korea Culture Industry, 2023, Vol. 23, No. 1, pp. 47-54.
La, S.-A., The Roles of Service Failure and Recovery Satisfaction in Customer-Firm Relationship Restoration: Focusing on Carry-over Effect and Dynamics among Customer Affection, Customer Trust and Loyalty Intention Before and After the Events, Journal of Distribution Research, 2012, Vol. 17, No. 1, pp. 1-36.
Landis, J.R. and Koch, G.G., The Measurement of Observer Agreement for Categorical Data, Biometrics, 1977, Vol. 33, No. 1, pp. 159-174.
Lee, K.-J. and Kim, S.-I., Usability Evaluation for Simple Payment Service Based on Mobile Application: Focused on Shinhan and Samsung, Journal of Digital Convergence, 2018, Vol. 16, No. 9, pp. 421-426.
Lee, Y.-J. and Kim, S.-I., Evaluation for User Experience about Service of Fintech: Mainly with Analysis on ‘Kakaopay’ and ‘Naverpay’, Journal of Digital Convergence, 2017, Vol. 15, No. 4, pp. 387-393.
Na, K.-T., Lee, J.-Y., Kim, E.-C., and Lee, H.-C., A Securities Company's Customer Churn Prediction Model and Causal Inference with SHAP Value, The Journal of Bigdata, 2020, Vol. 5, No. 2, pp. 215-229.
Oh, Y.K. and Kim, J.M., What Improves Customer Satisfaction in Mobile Banking Apps? An Application of Text Mining Analysis, Asia Marketing Journal, 2022, Vol. 23, No. 4, pp. 75-95.
Opensurvey, Payment Service Trend Report 2026 (surveyed 15-21 June 2026; n = 1,000 respondents with mobile payment experience within the past month), Opensurvey, https://www.opensurvey.co.kr (accessed on 2026.07.07).
Park, T.-J. and Yoon, J.-M., A Review on the Structural Changes in the Payment Market and Its Impact of the Korean Credit Card Industry: Focusing the Emergence of the Digital Payment Methods, Credit Card Review, 2020, Vol. 14, No. 4, pp. 1-32.
Wirtz, J. and Lovelock, C., Services Marketing: People, Technology, Strategy, ninth ed., World Scientific, 2022.
WiseApp Retail, Major Financial App Trends in November 2025 [Survey Report], https://www.wiseapp.co.kr (accessed on 2026.07.06).
Zuhir, N., Salim, A.M., Premkumar, P., and Farazi, M., Beyond Stars: Bridging the Gap between Ratings and Review Sentiment with LLM, Proceedings of the ACS/IEEE 22nd International Conference on Computer Systems and Applications, 2025, Doha, Qatar, Paper No. 38.