[기술포스팅 원문] https://www.canva.dev/blog/engineering/how-to-improve-search-without-looking-at-queries-or-results/

[기술포스팅 요약]

• Canva는 사용자의 개인정보를 보호하면서도 더 나은 검색 성능을 제공하기 위해 프라이빗 디자인 검색 평가를 위한 새로운 시스템을 개발했습니다.
• 기존 방식의 한계:
  • 엔지니어들이 제한된 오프라인 테스트를 통해 코드 변경을 평가
  • 온라인 실험 진행 전, 제한적인 통계적 신뢰성으로 인해 부정적인 검색 성능이 사용자에게 노출될 위험
  • 온라인 실험의 통계적 유의성을 확보하기 위해 긴 시간이 소요됨
• 새로운 접근 방식:
  • 프라이버시를 보호하기 위해 실제 사용자 데이터를 보지 않고도 평가 가능한 합성 데이터를 생성
  • LLM(GPT-4o)을 활용하여 현실적인 검색 쿼리와 디자인 데이터를 생성
  • 재현 가능하고 신뢰성 있는 결과를 제공하며, 엔지니어가 독립적으로 테스트를 수행 가능
• 테스트 데이터셋 생성:
  • 각 테스트 사례에는 쿼리와 관련 디자인, 추가 비관련 디자인이 포함
  • 정밀도를 평가하기 위해 비관련 디자인은 쿼리와 낮은 매칭 수준을 유지하도록 설계
  • LLM을 사용하여 단어 교체, 오탈자 생성 등으로 쿼리 난이도 조절
• 평가 도구 및 결과 시각화:
  • 로컬 환경에서 Canva의 검색 파이프라인을 테스트하기 위해 Testcontainers 활용
  • Streamlit 기반 시각화 도구로 검색 결과의 리콜 및 정밀도 메트릭 비교와 세부 디버깅 가능
• 성과:
  • 1000개 이상의 테스트 사례를 10분 이내에 평가
  • 오프라인과 온라인 실험 간 높은 상관관계 확보
  • 엔지니어가 실시간으로 문제를 디버깅하고 더 빠르게 실험을 반복 가능
• 향후 계획:
  • 더 복잡한 협업 그래프 및 다양한 합성 데이터 특성을 포함한 데이터셋 확장
  • Generative AI를 활용해 검색 성능을 지속적으로 개선

이 게시글은 [GPT-4o model]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼