[기술포스팅 원문] https://medium.com/29cm/29cm-qa팀은-어떻게-테스트-자동화-지표를-활용하여-신뢰성을-확보할-수-있었을까-93ee5cca76ce

[기술포스팅 요약]

안녕하세요 29CM에서 QA팀을 맡고 있는 박현준입니다. 이번 글에서는 제3회 QA Korea Conference에서 정다정님의 강연 내용을 기반으로, 자동화의 신뢰성을 높이기 위한 준비 과정에 대해 이야기해보겠습니다.

• 29CM QA팀은 App 테스트 자동화와 API 테스트 자동화를 실행하고 있습니다.
• API 테스트 자동화는 수정 빈도가 낮고, 네트워크 퍼포먼스 문제로 인한 오류가 대부분이어서 신뢰성이 높습니다.
• App 테스트 자동화는 UI와 UX의 빈번한 변동으로 인해 신뢰성 문제를 겪고 있습니다.
• 신뢰성 하락 문제를 해결하기 위해 2분기 OKR로 신뢰성 확보 작업을 진행했습니다.
• Postgresql과 Grafana를 활용하여 데이터를 시각화하고 지표를 추적했습니다.

필수 지표:

• Platform: iOS, Android 중 발생 플랫폼 기록
• error_code: traceback에서 추출한 에러 코드
• error_reason: traceback에서 추출한 에러 이유
• insert_time: 데이터 기록 시간
• error_scenario: 테스트 시나리오명
• test_result: 테스트 결과
• test_progress_time: 테스트 수행 시간

선택 지표:

• Fail이 컨트롤 영역 밖의 원인인 경우 별도 기록
• 실제 Bug로 인해 Fail 발생 시 기록

• 자동화 테스트 수행 후, 데이터가 충분히 쌓이면 지표로 삼아 추적했습니다.
• 주 1회 배포 시마다 3~6개의 빌드에서 테스트가 수행되었습니다.
• E2E 시나리오 약 30개를 통해 테스트 결과를 DB에 적재하고 Grafana 대시보드에서 시각화했습니다.

Fail률 관리:

• Fail률 실시간 체크와 주간, 월간 추이를 확인할 수 있도록 Visualization 생성
• 2분기에 Fail률을 2% 미만으로 낮추는 목표 설정
• Fail 발생 시 근본적인 원인을 찾아 해결

성과:

• 1분기 Fail률 8%에서 2분기에 눈에 띄게 감소
• 대기시간 증가, Flow 감소 등의 단기 해결책 대신 근본적인 해결책 적용

추가 작업:

• 높은 빈도수의 시나리오와 에러 코드, 원인 분석
• 시나리오별 수행시간 체크와 병목 발생 부분 파악

결론:

• Fail률을 DB화하여 정량적으로 측정
• QA 활동을 정량화하여 성과 측정 가능
• 앞으로도 QA 활동을 정량화할 수 있는 방안을 고민할 예정

이 게시글은 [GPT-4 모델]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼