[기술포스팅 원문] https://medium.com/29cm/fail률-감소-목표-집요하게-달성하기-android-ui-자동화-2515f55bd117

[기술포스팅 요약]

이 글은 29CM QA팀이 Android UI 자동화 과정에서 겪은 다양한 문제들과 이를 해결하기 위한 시도들을 공유합니다. 2023년 하반기 Android UI 자동화를 위한 시나리오가 완성되었으나, 운영 배포 시 다수의 시나리오에서 높은 실패율이 발생하여 유지보수에 많은 리소스를 소모하게 되었습니다. 글에서는 이러한 문제들을 해결하고 자동화의 신뢰성을 높이기 위한 여러 접근법을 설명합니다.

• UI 변경으로 인한 자동화 실패: 빌드 앱에서 기존 설정한 id 또는 path 값이 변경되거나 누락되어 실패가 발생. 이를 해결하기 위해 코드 수정 및 개발팀과의 협력으로 재빌드를 진행했습니다.
• Window handler 전환 문제 : 네이티브에서 웹 뷰로 전환 시 올바른 핸들러로 전환되지 않아 실패하는 사례가 발생. 다양한 시도 끝에 각 시나리오별로 핸들러를 초기화하거나 앱을 재실행하는 방식을 통해 문제를 완화했습니다.
• CI/CD 파이프라인에서의 불안정성: 로컬 환경에서는 정상 작동하지만, CI/CD 파이프라인에서는 element 탐색 실패나 앱 종료가 빈번히 발생. 시나리오 실행 속도를 조절하고 여러 단계에 걸친 확인 과정을 통해 문제를 해결하려 했습니다.
• 해결 방안: 시나리오를 개별적으로 분리하고 종속성을 없애며, 실패 시 앱을 재실행하여 핸들러 히스토리를 삭제. 슬랙 알림 구조를 개선해 알림 수를 줄였습니다.

이러한 문제 해결 과정에서 다양한 시행착오를 겪으며 자동화의 복잡성을 이해하게 되었고, 각종 시도를 통해 fail율을 현저히 낮추는 성과를 이루었습니다. 끝까지 포기하지 않고 지속적인 개선을 추구한 결과, 보다 견고하고 신뢰할 수 있는 Android UI 자동화 시스템을 구축하게 되었습니다. 이 글은 자동화에 도전하는 다른 QA 엔지니어들에게 유용한 정보와 동기부여가 될 것입니다.

"이 게시글은 [GPT-4o model]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼"