[기술포스팅 원문] https://techblog.lycorp.co.jp/ko/automating-llm-application-evaluation-with-harness

• LLM(대규모 언어 모델) 애플리케이션의 품질 보장은 높은 복잡성과 민감도로 인해 매우 까다로운 작업입니다.
• LLM 애플리케이션 테스트의 주요 도전 과제:
  • 입력값의 미세한 변화에 따른 출력값의 큰 차이.
  • 프롬프트 체이닝과 에이전트의 오차 누적 및 변동성.
  • 테스트 결과를 정량적으로 평가하기 어려움.
• LINE GAME PLATFORM 팀은 LLM 애플리케이션 테스트 자동화를 위해 다음과 같은 접근 방식을 사용했습니다:
  • 프롬프트별로 테스트 단위를 세분화하여 각 단계의 성능을 독립적으로 평가.
  • 도메인 전문가의 평가 대신 정량 평가 기준을 도입하여 객관성과 효율성을 높임.
  • 문맥과 의미를 반영하는 코사인 유사도, METEOR, ROUGE-L 등 다양한 평가 지표를 활용.
  • GPT 기반 평가 지표를 추가해 인간 평가와 유사한 결과를 자동으로 산출.
• 테스트 자동화 프레임워크로 EleutherAI의 Harness를 채택하여 평가 파이프라인을 구축하고, 모델과 지표를 자유롭게 커스터마이징했습니다.
• Harness를 통해 대규모 데이터 세트와 프롬프트 조합을 동적으로 생성 및 테스트하며, 응답 형태에 따른 지표를 맞춤 설정해 더 정밀한 평가가 가능하도록 설계했습니다.
• 테스트 과정은 프롬프트 변경, 데이터 세트 구성, 모델 평가 및 비교를 반복하며 최적화된 결과를 도출하도록 구성되었습니다.
• LINE GAME PLATFORM 팀의 접근 방식은 아직 정립되지 않은 LLM 테스트 분야에서 중요한 인사이트를 제공합니다.