핵심 요약
현대자동차가 Ollama와 Hugging Face를 활용해 오프라인 로컬 LLM 설치·운영 방법을 소개하는 기술 블로그를 공개했습니다.
주요 특징
- Ollama로 Web/Code/CLI 등에서 LLM의 핵심을 포장하고 설치와 버전 확인을 안내합니다.
- gguf 포맷의 EEVE 한국어 모델 파일을 다운로드 받아 로컬에서 실행합니다.
- Modelfile로 gguf 경로를 상대 경로로 지정하고 설치를 검증합니다.
- 라이선스 정책 확인 및 준수의 필요성을 명시합니다.
적용 고려사항
- gguf 파일의 라이선스 정책을 반드시 확인합니다.
- Modelfile과 gguf를 같은 폴더에 두고 상대 경로로 gguf 파일을 지정합니다.
- OS에 맞는 Ollama 실행 파일을 다운로드해 설치합니다.
- 설치 후 로컬 환경에서 오프라인으로 동작하는지 확인하고 필요 시 추가 설정을 검토합니다.