[기술포스팅 원문] https://oliveyoung.tech/2025-01-05/csp_auto_test/

[기술포스팅 요약] 이 글은 올리브영에서 CSP(Critical Serving Path)를 중심으로 자동화 테스트를 도입하고 운영한 실전 사례를 다룹니다. 반복적인 테스트의 비효율성을 개선하고, 안정적인 서비스 운영을 위한 자동화 도입 과정과 적용 방식, 테스트 수행 환경 및 주요 검출 사례를 설명합니다.

• 자동화 테스트 도입 배경
  • 반복적인 테스트 수행으로 인한 리소스 낭비 문제.
  • 서비스 장애 발생 시 빠른 감지가 어려운 점을 개선.
  • 효율적인 모니터링을 통해 운영 안정성을 높이기 위해 도입.
• 올리브영 자동화 테스트 적용 방식
  • STG 통합 테스트: 코드 병합 후 사이드이펙트 및 기능 이상 여부 검증.
  • 정기 배포 테스트: 배포 후 주요 기능 안정성 점검.
  • 긴급 및 분리 배포 테스트: 신속한 품질 검증을 통해 배포 리스크 최소화.
  • 운영 모니터링 테스트: 매일 실행하여 인프라 문제 및 설정 오류 탐지.
• CSP 자동화 테스트 수행 환경
  • CI/CD 툴: TeamCity.
  • 테스트 자동화 도구: Selenium, Appium.
  • 실제 기기를 사용하여 결제 테스트까지 수행.
• CSP 자동화 테스트 수행 방식
  • STG 통합테스트: TeamCity에서 수동 실행.
  • 정기/긴급/분리 배포: Blue-Green Deployment 방식 활용.
  • 운영 모니터링: TeamCity 스케줄링을 활용한 자동 실행.
• 상품 데이터 기반 자동화 로직
  • 랜덤 상품이 아닌 API를 통해 실시간 데이터 수집 후 테스트.
  • 재고 상태, 가격, 프로모션 정보 등을 백오피스 API에서 조회하여 정확한 데이터 검증.
  • UI 변경보다 비즈니스 로직 검증에 집중하여 유지보수 리소스 절감.
• 자동화 테스트 결과 보고 및 대응
  • 테스트 결과는 Testrail 및 Slack을 통해 실시간 공유.
  • 테스트 실행 중 핸드폰 녹화 기능을 활용하여 디버깅 지원.
  • 결과 리포트는 자동화 채널에 공유되어 빠른 대응 가능.
• 자동화 테스트로 검출된 주요 이슈 사례
  • 주문서 UI 깨짐 현상.
  • 부분 취소 오류.
  • 잘못된 쿠폰 다운로드 오류.
  • 과거 VOC로만 감지되던 문제들을 사전 탐지 가능.
• 자동화 도입 효과
  • CSP 영역 모니터링 자동화로 평균 2MD의 리소스 절감.
  • 배포 후 한참 지나서 발견되던 이슈들을 조기 검출.
  • 테스트 정확도를 높여 인시던트 대응 속도 향상.

자동화 테스트 도입은 기술적 역량뿐만 아니라, 어떤 영역을 자동화해야 하는지 전략적으로 고민하는 과정이 중요합니다. 올리브영은 CSP를 중심으로 한 자동화 테스트로 서비스 안정성을 높이고 있으며, 지속적인 개선을 통해 자동화 테스트의 효과를 극대화하고 있습니다.

이 게시글은 [GPT-4o model]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼