신고되지 않던 오류까지 걷어내, 어떤 단말에서도 끊기지 않는 학습 경험을 만들다
이용자는 문의를 남기지 않고 앱을 다시 켜거나 학습을 멈춥니다.
EBS는 MAXY Mobile로 그렇게 사라지던 오류를 데이터로 붙잡습니다.
Background
도입 배경
EBS 학습 서비스 앱은 전국의 학생과 학부모가 일상적으로 이용하는 대국민 교육 서비스입니다. 이용자층이 넓은 만큼 접속 단말의 분포도 넓어, 최신 기종부터 성능이 낮은 구형 단말, 국내에서 흔히 쓰이지 않는 외산 단말까지 다양한 환경에서 동일한 학습 경험이 보장되어야 하는 서비스였습니다.
개발·테스트 단계에서는 확보할 수 있는 단말 범위 안에서만 검증이 가능해, 실제 이용 환경 전체를 재현하기 어려웠습니다. 특히 저성능 단말과 외산 단말에서 발생하는 에러·크래시는 사내 환경에서 재현이 어려워 개발 단계에서 걸러지지 않았습니다.
더 큰 과제는 이런 오류의 상당수가 CS로 접수되지 않는다는 점이었습니다. 이용자는 앱을 다시 실행하거나 학습을 중단할 뿐 문의를 남기지 않기 때문에, 운영 조직의 시야에서는 문제가 드러나지 않았습니다. 이에 따라 EBS는 실사용 환경에서 발생하는 에러·크래시의 전수 수집, 단말·운영체제별 발생 현황 파악, 신고되지 않는 숨은 오류의 발견을 목표로 모바일 앱 모니터링 솔루션 도입을 추진했습니다.
주요 도입 목적
- 개발·테스트 단계에서 검증하지 못한 실사용 단말 환경의 오류 확인
- 저성능 단말과 외산 단말에서 발생하는 에러·크래시 수집
- CS로 접수되지 않는 숨겨진 오류의 발견과 조치
- 단말·운영체제·앱 버전별 오류 발생 현황의 정량 파악
- 오류 발생 코드 구간 식별을 통한 조치 우선순위 결정
- 다양한 학습 환경에서 균일한 서비스 품질 확보
Solution
도입 솔루션
MAXY Mobile은 실제 이용자의 단말에서 발생하는 에러와 크래시, 성능 저하와 행동 데이터를 실시간으로 수집·분석하는 모바일 앱 모니터링 솔루션으로, 사내 테스트 환경에서 재현되지 않는 오류까지 실사용 데이터로 확인합니다.
- 실사용 환경의 Error 및 Crash 실시간 수집
- 제조사 · 모델별 오류 발생 현황 분석
- 운영체제 버전별 오류 분포 확인
- 앱 버전별 크래시 추이 비교
- 오류 발생 코드 구간(Stack Trace) 확인
- 같은 오류의 발생 빈도 집계
- 발생 빈도 순 오류 목록으로 조치 대상 선별
- 이용자 행동 이력 기반 재현 경로 추적
- 문의 여부와 관계없는 오류 자동 수집
- 코드 추가만으로 완료되는 간편한 설치와 높은 호환성
- 대상 앱의 성능에 영향을 최소화하는 경량 수집 구조
Impact
기대 효과
에러 발생 건수를 100분의 1 수준으로
MAXY Mobile 도입 직후에는 그동안 드러나지 않았던 다수의 에러가 한꺼번에 집계되었습니다. 발생 빈도와 원인 코드 구간을 기준으로 조치 우선순위를 정하고 순차적으로 개선한 결과, 에러 발생 건수는 100분의 1 수준까지 감소했습니다. 문제가 새로 생긴 것이 아니라, 그동안 보이지 않던 문제가 처음으로 측정 가능해진 뒤 실제로 걷어내진 것입니다.
개발 단계에서 재현되지 않던 단말 환경을 데이터로 확보
사내 테스트로는 확인하기 어려웠던 저성능 단말과 외산 단말의 오류를 실사용 데이터로 수집했습니다. 어떤 제조사와 모델, 어떤 운영체제 버전에서 오류가 집중되는지를 정량적으로 확인하고 해당 환경에 맞춰 조치할 수 있게 되었습니다. 단말을 직접 확보해 재현하는 방식에 의존하던 검증 과정을, 실제 이용 데이터에 기반한 방식으로 전환한 것입니다.
문의로 드러나지 않던 숨은 오류의 발견
이용자가 문의를 남기지 않고 앱을 다시 실행하거나 학습을 중단해 버리는 오류는 CS 지표만으로는 존재조차 확인되지 않습니다. 도입 이후에는 이러한 오류가 발생 즉시 수집·집계되어, 접수 여부와 관계없이 문제를 발견하고 조치할 수 있게 되었습니다. 이용자의 신고에 의존하던 품질 관리가 데이터에 기반한 선제 대응으로 바뀌었습니다.
모든 학습 환경에서 균일한 서비스 품질
단말 성능에 따라 학습 경험이 달라지는 것은 대국민 교육 서비스에서 특히 민감한 문제입니다. 어떤 단말을 쓰는 이용자든 동일한 수준으로 학습할 수 있어야 하는 만큼, 단말·운영체제별 품질 편차를 상시 확인하고 좁혀 나가는 체계를 갖추게 되었습니다.
Voice of Customer
담당자의 말
“개발·테스트 단계에서 적용하지 못한 다수의 저성능·외산 단말에서 발생하는 에러와 크래시를 확인하고 조치할 수 있었습니다. 도입 후에는 CS로 인입되지 않던 숨겨진 오류까지 다수 해결해, 에러 발생 건수를 100분의 1 수준으로 줄였습니다.”