GGUF
GGUF(GGML Universal File)는 ggml 기반 실행기에서 모델을 저장·교환하기 위한 이진 파일 형식이다. 2023년 8월 llama.cpp 프로젝트에서 도입되었으며, 모델 텐서와 메타데이터(아키텍처, 토크나이저, 양자화 정보 등)를 하나의 파일에 담아 빠르게 읽고 쓸 수 있게 설계되었다.
개요
GGUF는 GGML, GGMF, GGJT 등 이전 형식들의 후속 형식이다. 파일 하나에 모델을 완전히 담기 때문에 별도의 설정 파일 없이 배포·공유할 수 있고, mmap 기반의 빠른 로딩을 지원한다. 메타데이터를 키-값 구조로 저장해 형식을 확장하더라도 기존 모델과의 호환성이 유지된다.
모델은 보통 PyTorch 등으로 학습된 뒤 GGUF로 변환되어 배포된다. Ggml-org의 convert 저장소 등이 변환 도구로 사용된다.
표준화된 역할
GGUF는 양자화된 대규모 언어 모델을 로컬에서 실행하기 위한 사실상의 표준 형식이 되었다. llama.cpp, Ollama, LM Studio, GPT4All, koboldcpp 등이 기본 지원하며, Hugging Face에는 수만 개의 GGUF 체크포인트가 호스팅되어 있다.