[기술포스팅 원문] https://engineering.fb.com/2025/02/05/security/revolutionizing-software-testing-llm-powered-bug-catchers-meta-ach/

[기술포스팅 요약]

Meta는 Automated Compliance Hardening (ACH)라는 새로운 LLM(대규모 언어 모델) 기반 테스트 자동화 시스템을 개발하여, 코드 리그레션을 방지하고 보안 및 안정성을 강화하고 있습니다. ACH는 Mutation Testing(돌연변이 테스트)을 활용하여 실제 발생 가능한 버그(돌연변이)를 자동 생성하고, 해당 버그를 탐지할 수 있는 테스트를 자동으로 생성하는 시스템입니다.

• ACH란 무엇인가?
  • Meta가 개발한 LLM 기반 테스트 자동화 시스템
  • 코드에서 특정한 버그 유형(돌연변이)을 자동 생성
  • 이 돌연변이를 감지할 수 있도록 자동으로 테스트 코드 생성
  • 테스트 커버리지를 단순히 확장하는 것이 아니라, 실제 버그 탐지에 집중
  • Meta의 다양한 서비스(페이스북 피드, 인스타그램, 메신저, 왓츠앱)에 적용
• ACH의 작동 방식
  • Mutation Testing 기법 활용
  • 전통적인 Mutation Testing은 돌연변이를 생성하지만, 테스트를 직접 작성해야 하는 부담이 존재
  • ACH는 LLM을 활용하여 더 현실적이고 의미 있는 돌연변이를 자동 생성
  • 자동 생성된 돌연변이를 탐지할 수 있는 테스트 코드까지 자동으로 생성
• ACH의 주요 과정
  • 엔지니어가 탐지하고 싶은 버그 유형을 자연어로 설명
  • ACH가 이 설명을 바탕으로 다양한 버그(돌연변이) 자동 생성
  • ACH가 생성된 버그를 탐지할 수 있는 테스트 코드 자동 생성
  • 이 과정을 통해 개발자의 테스트 코드 작성 부담을 줄이고, 품질을 강화
• ACH의 중요성
  • Meta의 대규모 데이터 시스템과 다양한 프로그래밍 언어, 프레임워크, 서비스에 적용 가능
  • 수천 명의 엔지니어가 보다 신뢰할 수 있는 코드 작성 가능
  • 기존 Mutation Testing은 대규모 적용이 어려웠지만, LLM을 활용하여 이를 확장 가능하도록 개선
  • 테스트 코드 자동화와 버그 탐지를 동시에 수행할 수 있어 코드 리그레션 방지 및 보안 강화
• 향후 계획
  • ACH의 적용 범위를 확장하여 다양한 서비스에 적용
  • Mutation Testing의 효과를 측정할 수 있는 새로운 방법 개발
  • 기존 시스템의 결함 탐지 기능 강화
  • 개발자의 부담을 줄이고, 안전한 소프트웨어 환경을 조성하는 데 기여
  • 업계 전반에서 자동화된 테스트 생성 기술이 더욱 확산되도록 지원

Meta는 ACH를 통해 자동화된 테스트 생성 기술을 한 단계 발전시키고 있으며, 이를 통해 개발자의 부담을 줄이고, 더 안전한 온라인 환경을 조성하는 것을 목표로 하고 있습니다.

이 게시글은 [GPT-4o model]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼