핵심 요약
AWS가 NVIDIA Cosmos 월드 파운데이션 모델(WFM)을 AWS 인프라에 배포하고, 실시간 추론(EKS 기반 NIM 마이크로서비스)과 배치 추론(AWS Batch 기반 컨테이너) 두 가지 프로덕션 레디 아키텍처를 제시했습니다.
구현 방법
- 실시간 추론: Amazon EKS 기반 Cosmos NIM 마이크로서비스로 저지연 응답과 고가용성, 자동 스케일링, 운영 간소화를 달성합니다.
- 배치 추론: AWS Batch 기반 컨테이너로 비용 최적화와 탄력적 확장, 대규모 합성 데이터 생성을 가능하게 합니다.
주요 결과
- 실시간 아키텍처는 엔터프라이즈급 오케스트레이션과 고가용성, 원활한 운영을 제공합니다.
- 배치 아키텍처는 필요 시 GPU를 동적으로 프로비저닝하고 비용을 절감하며 대규모 합성 데이터를 빠르게 생성합니다.
