[기술포스팅 원문] https://www.adriel.com/ko/blog/adriel-ai-agent-qa-case-study

[기술포스팅 요약] 본글은 아드리엘 QA팀이 RAG 기반 AI Agent를 도입한 배경부터 개발 과정, 실제 활용 사례까지 전 과정을 상세히 공유한 글이며, 생성형 AI를 QA 업무에 실질적으로 접목한 사례로서 데이터 수집, 모델 선정, 시스템 구현 및 개선 방식 등을 담고 있습니다.

• 기존 QA 방식으로는 글로벌 사용자 대응 및 복잡해진 제품 히스토리 관리를 감당하기 어려워져, AI Agent 도입이 필요했습니다.
• LangChain과 RAG 기술을 기반으로 Python으로 초기 POC를 개발하였고, 실제 유효성을 확인 후 본 프로젝트로 확장했습니다.
• QA팀 전원이 프로젝트에 참여하였으며, 데이터 구축부터 모델 선택, 인프라 구현까지 각기 역할을 분담해 그레이박스 수준의 이해를 목표로 진행했습니다.
• Slack 채널의 버그 리포트와 기능 배포 메시지를 수집하여 Google Apps Script로 자동화된 데이터셋을 구축했습니다.
• 전처리 과정에서는 언어 통일, 메타 데이터 정리 등 정제 작업을 통해 일관된 데이터셋을 확보했습니다.
• LLM 모델은 비용 대비 성능 기준으로 OpenAI GPT-4o를 선택하고, 임베딩 모델은 text-embedding-ada-002를 사용했습니다.
• 벡터 데이터베이스는 Qdrant를 활용하여 효율적인 검색 및 API 연동을 구현하였고, LangGraph 기반의 멀티 에이전트 구조로 Agent를 설계했습니다.
• AI Agent는 Slack에서 질문을 받아 Qdrant에서 문맥 검색 후 OpenAI를 통해 자연어 응답을 생성하고 다시 Slack으로 전달합니다.
• 모니터링은 LangSmith를 활용하여 질의 패턴, 토큰 사용량, 개선 포인트를 분석하며 지속적으로 성능을 향상시키고 있습니다.
• Agent는 QA 외 부서에서도 활용되어 업무 연속성과 대응력을 강화하고 있으며, 실제 유사 이슈 필터링 및 의사결정 지원에도 기여하고 있습니다.
• 프롬프트 설계, 데이터 품질 유지, 모델 튜닝 등 시행착오도 많았지만 실무에서 실질적인 효과를 입증하며 성공적인 도입 사례로 자리잡았습니다.
• QA가 단순한 테스트를 넘어서 제품과 비즈니스에 더 깊이 관여하는 품질 엔지니어로서의 역할을 확장해 가는 방향성도 강조했습니다.

이 게시글은 [GPT-4o model]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼