GGUF 문서 원본 보기

'''GGUF'''([[Ggml|GGML]] Universal File)는 [[ggml]] 기반 실행기에서 모델을 저장·교환하기 위한 이진 파일 형식이다. 2023년 8월 [[llama.cpp]] 프로젝트에서 도입되었으며, 모델 텐서와 메타데이터(아키텍처, 토크나이저, 양자화 정보 등)를 하나의 파일에 담아 빠르게 읽고 쓸 수 있게 설계되었다.

== 개요 ==
GGUF는 [[Ggml|GGML]], GGMF, GGJT 등 이전 형식들의 후속 형식이다. 파일 하나에 모델을 완전히 담기 때문에 별도의 설정 파일 없이 배포·공유할 수 있고, mmap 기반의 빠른 로딩을 지원한다. 메타데이터를 키-값 구조로 저장해 형식을 확장하더라도 기존 모델과의 호환성이 유지된다.

모델은 보통 PyTorch 등으로 학습된 뒤 GGUF로 변환되어 배포된다. [[Ggml-org]]의 convert 저장소 등이 변환 도구로 사용된다.

== 표준화된 역할 ==
GGUF는 양자화된 대규모 언어 모델을 로컬에서 실행하기 위한 사실상의 표준 형식이 되었다. [[llama.cpp]], [[Ollama]], LM Studio, GPT4All, koboldcpp 등이 기본 지원하며, [[Hugging Face]]에는 수만 개의 GGUF 체크포인트가 호스팅되어 있다.

== 함께 보기 ==

* [[Ggml]] — GGUF를 읽는 텐서 라이브러리
* [[llama.cpp]] — GGUF를 도입한 프로젝트

== 출처 ==

* [https://github.com/ggml-org/ggml/blob/master/docs/gguf.md GGUF 형식 문서]
* [https://en.wikipedia.org/wiki/GGUF 위키백과: GGUF]

[[분류:머신 러닝]]
[[분류:파일 형식]]