Ggml-org
ggml-org는 로컬 머신 러닝 추론 소프트웨어를 개발하는 GitHub 조직이다. 텐서 라이브러리 ggml과 대규모 언어 모델 실행기 llama.cpp를 비롯해, 개인용·엣지 하드웨어에서 인공지능 모델을 실행하는 도구들을 함께 관리한다. 조직의 공식 설명은 "AI inference at the edge"이다.
개요
ggml-org는 ggml 텐서 라이브러리를 중심으로 이를 활용한 추론 실행기와 개발 도구를 한 조직 아래에서 관리한다. 프로젝트들은 C/C++ 기반으로 작성되어 외부 의존성이 적고, CPU·GPU를 비롯한 다양한 하드웨어에서 동작하는 것을 목표로 한다. 대표 프로젝트인 llama.cpp는 ggml을 사용해 대규모 언어 모델을 로컬에서 실행하며, GGUF 모델 파일을 모델 교환 형식으로 사용한다.
조직 이름은 텐서 라이브러리 ggml에서 유래했으며, 공식 웹사이트는 ggml.ai이다.
주요 프로젝트
ggml
머신 러닝을 위한 저수준 텐서 라이브러리로, 조직의 기반 프로젝트이다. 자세한 내용은 Ggml 문서를 참조한다.
llama.cpp
대규모 언어 모델 추론을 C/C++로 구현한 실행기이다. GGUF 형식의 모델을 읽어 CPU·GPU에서 로컬 추론을 수행하며, 양자화된 모델을 소비자용 하드웨어에서 실행하는 대표적인 소프트웨어로 널리 쓰인다.
whisper.cpp
OpenAI의 음성 인식 모델 Whisper를 C/C++로 포팅한 프로젝트이다. ggml 기반으로 작성되어 로컬 환경에서 음성 인식 모델을 실행한다.
개발 도구와 애플리케이션
조직은 실행기 외에도 다양한 개발 도구와 애플리케이션을 함께 관리한다.
- convert: 여러 형식의 모델을 GGUF로 변환하는 도구.
- p1: LLM 기반 코드 완성 엔진.
- llama.vim, llama.vscode, llama.qtcreator: 편집기·IDE에서 LLM 지원 코드 완성을 제공하는 플러그인.
- Llama-macOS, Llama-Windows: 데스크톱에서 llama.cpp를 활용하는 애플리케이션.
- llama.pages: llama.cpp 공식 웹사이트.
- llama-install.sh: llama.cpp 기반 도구의 설치·빌드 스크립트.
- llama.brand: llama.cpp의 브랜드 자산.
- ci, gha, ccache-action: ggml 및 관련 프로젝트의 CI 인프라와 GitHub Actions 도구.
생태계에서의 역할
ggml-org는 ggml 텐서 라이브러리, llama.cpp 실행기, GGUF 모델 파일 형식으로 이어지는 로컬 추론 생태계의 중심 조직이다. 이 생태계는 클라우드 API에 의존하지 않고 개인용 하드웨어에서 모델을 실행하려는 흐름에서 널리 사용된다. 조직의 프로젝트는 대부분 MIT 라이선스로 공개되어 있다.