Ollama

Ollama는 로컬 컴퓨터에서 대규모 언어 모델을 실행·관리하기 위한 오픈소스 플랫폼이다. 2023년 Jeffrey Morgan과 Michael Chiang이 만들었으며, llama.cpp를 기반으로 동작한다.

개요

Ollama는 명령줄 인터페이스와 네이티브 GUI, 로컬 REST API를 제공한다. 모델을 간단한 명령으로 내려받아 실행할 수 있고, 모델 관리 기능을 갖추고 있다. GGUF 형식의 모델을 지원하며, 코딩 어시스턴트 등 다른 애플리케이션과 통합할 수 있다.