핵심 요약
당근이 GenAI 플랫폼을 구축해 LLM Router, Prompt Studio, KarrotChat를 하나의 관문으로 통합하고, 수백 가지 사례의 GenAI 활용을 가능하게 하며 운영 가시성과 보안을 크게 강화했다.
구현 방법
- LLM Router로 모든 AI API 호출을 중앙화하고 OpenAI 인터페이스를 표준화해 다양한 모델을 일관되게 호출 가능하게 했다.
- Prompt Studio를 통해 비개발자도 프롬프트를 제작·테스트하고, Evaluation으로 모델 간 비교와 안정성 기능(Retry, Region Fallback, Model Fallback, Circuit Breaker)을 제공했다.
- MCP 허브와 KarrotChat으로 Agent를 쉽게 만들고 배포하며, 데이터캣 사례처럼 빅쿼리 데이터를 활용한 분석을 지원했다.
주요 결과
- 계정/키 발급 프로세스를 제거해 운영 부담을 대폭 줄였다.
- 모든 호출과 비용을 추적해 인프라 비용 관리와 가시성을 향상시켰다.
- 이미지/비디오 생성까지 GenAI 활용을 확장하고, 부서 간 지식 공유를 촉진했다.
