[기술포스팅 원문] https://www.thoughtworks.com/insights/blog/generative-ai/how-to-evaluate-an-LLM-system

[기술포스팅 요약] 본글은 LLM(대규모 언어 모델) 기반 시스템의 평가 방법을 다룬 가이드로, 사전 배포 단계부터 운영 환경까지 전 주기에 걸쳐 LLM 성능을 체계적으로 측정하고 개선하는 평가(evals) 전략을 소개하며, 신뢰성 높은 AI 시스템을 만들기 위한 핵심 요소들을 담고 있습니다.

• LLM의 출력은 확률 기반으로 비결정적이기 때문에, 기존 소프트웨어 테스트와는 다른 평가 접근이 필요합니다.
• Evals는 성능 기준 수립, 출력의 일관성 확보, 개선 포인트 파악, 리그레션 방지 등 네 가지 측면에서 중요합니다.
• 평가는 사전 배포(pre-deployment)와 운영(post-deployment) 단계로 나눠 수행되며, 각 단계에서 목적이 다릅니다.
• 사전 배포 평가는 성능 측정과 리그레션 방지를 목표로, 기준 데이터셋(ground truth)과 다양한 평가 지표를 기반으로 수행됩니다.
• Ground truth는 도메인 전문가가 작성한 질문-답변 데이터로, 실제 사용 시나리오를 반영해야 하며, LLM이 이를 전적으로 생성하는 것은 적절하지 않습니다.
• 대표적인 평가 지표로는 답변 적합성, 텍스트 일관성, 문맥 적절성, 책임성(윤리성), RAG 평가 지표(정확성, 맥락 정밀도, 회수율 등)가 있습니다.
• 작업 특화(Task-specific) 메트릭도 중요하며, 요약, 번역, 감성 분석 등 특정 기능별로 커스텀된 지표를 설정해야 합니다.
• 지표 기반 설계 개선이 중요하며, 메트릭 점수를 바탕으로 프롬프트, 청킹 전략, 검색 방식, 임베딩 등을 최적화합니다.
• LLM-as-a-Judge 방식은 참고 지표로 활용 가능하지만, Ground truth 기반 평가가 여전히 정밀성과 신뢰성에서 우위입니다.
• Evals는 배포 파이프라인에 통합되어야 하며, Giskard 같은 툴을 통해 유해성, 환각, 민감 정보 여부 등을 자동 검출할 수 있습니다.
• 운영 환경에서는 관찰성과 사용자 피드백을 통해 시스템 성능을 지속적으로 추적하고 개선해야 합니다.
• Data Flywheel 개념은 실시간 데이터를 바탕으로 지속적인 개선 사이클을 만들어, 시스템의 성능과 사용자 경험을 점진적으로 향상시킵니다.
• 평가 메트릭은 고정된 것이 아니며, 사용자 행태와 실제 사용 맥락에 따라 유연하게 수정 및 보완되어야 합니다.
• 신뢰할 수 있는 LLM 애플리케이션을 만들기 위해서는 개발 초기부터 평가 체계를 중심에 두는 Evals-first 접근이 필수입니다.

이 게시글은 [GPT-4o model]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼