[기술포스팅 원문] https://tech.kakao.com/posts/689

[기술포스팅 요약]

카카오는 자체 개발한 AI 모델인 '카나나 모델 패밀리(Kanana Model Family)'를 기반으로 실용적이고 효율적인 AI 서비스를 구축하고 있으며, 최근 테크니컬 리포트를 공개했습니다. 이번 리포트에서는 대규모 언어모델(LLM)인 'Kanana Flag'를 포함한 전체 모델 라인업과 학습 과정, 성능 평가, 오픈소스 공개 내용 등을 다루고 있습니다.

• 카나나 모델 패밀리 개요
  • 카카오 서비스에 최적화된 AI 모델 개발
  • Kanana Flag, Kanana Essence, Kanana Nano 등 다양한 모델 라인업 구성
  • 효율적인 학습 전략을 통해 높은 성능과 비용 절감 달성
• Kanana Flag: 고성능 한국어·영어 언어모델
  • 글로벌 벤치마크에서 높은 성능 기록 (MMLU, MT-Bench, KMMLU, KoMT-Bench 등)
  • 한국어 처리 성능에서 경쟁 모델 대비 우수한 결과 확보
  • 최적화된 학습 프로세스를 통해 학습 비용 절감 (기존 대비 50% 이상 절감)
• 학습 효율화를 통한 비용 절감
  • Staged Pre-training 기법 활용 (8B, 26.8B 모델 학습)
  • 가지치기(Pruning), 지식 증류(Distillation) 기법 적용
  • 깊이 업스케일링(Depth Up-Scaling) 방식으로 모델 확장
  • 유사 크기 글로벌 모델 대비 절반 이하의 학습 비용으로 최적화
• Kanana Nano 2.1B 오픈소스 공개
  • 온디바이스에서도 활용 가능한 경량 AI 모델
  • base, instruct, embedding 등 세 가지 버전 제공
  • 연구 및 개발 목적의 활용을 고려하여 오픈소스로 공개
  • 소형 모델이지만 높은 성능을 유지하며 다양한 응용 가능
• 향후 발전 방향
  • 강화학습(RL) 기반의 추론(reasoning) 능력 강화
  • 연속 학습(Continual Learning)을 통한 지속적 성능 개선
  • 얼라인먼트(Alignment) 기술을 통해 사용자 요청 이해 및 수행 능력 향상
  • 멀티모달 AI로 진화하여 음성, 이미지, 영상 등의 이해 및 생성 기능 확장

카카오는 Kanana 모델을 지속적으로 개선하여 AI가 사용자와 자연스럽게 소통하고 실용적인 가치를 제공할 수 있도록 연구를 이어가고 있습니다.

이 게시글은 [GPT-4o model]를 통해 요약되었으며, 정보 공유 목적으로 게시되었습니다. 원문 게시물에 대한 책임이나 이해 관계가 없습니다. - 소프트웨어QA 포럼