Ggml-org 문서 원본 보기

'''[[ggml]]-org'''는 로컬 머신 러닝 추론 소프트웨어를 개발하는 GitHub 조직이다. 텐서 라이브러리 '''[[ggml]]'''과 대규모 언어 모델 실행기 '''[[llama.cpp]]'''를 비롯해, 개인용·엣지 하드웨어에서 인공지능 모델을 실행하는 도구들을 함께 관리한다. 조직의 공식 설명은 "AI inference at the edge"이다.

== 개요 ==
[[ggml]]-org는 [[ggml]] 텐서 라이브러리를 중심으로 이를 활용한 추론 실행기와 개발 도구를 한 조직 아래에서 관리한다. 프로젝트들은 C/C++ 기반으로 작성되어 외부 의존성이 적고, CPU·GPU를 비롯한 다양한 하드웨어에서 동작하는 것을 목표로 한다. 대표 프로젝트인 [[llama.cpp]]는 [[ggml]]을 사용해 대규모 언어 모델을 로컬에서 실행하며, [[GGUF]] 모델 파일을 모델 교환 형식으로 사용한다.

조직 이름은 텐서 라이브러리 [[ggml]]에서 유래했으며, 공식 웹사이트는 [[ggml]].ai이다.

== 주요 프로젝트 ==

=== ggml ===
머신 러닝을 위한 저수준 텐서 라이브러리로, 조직의 기반 프로젝트이다. 자세한 내용은 [[Ggml]] 문서를 참조한다.

=== llama.cpp ===
대규모 언어 모델 추론을 C/C++로 구현한 실행기이다. [[GGUF]] 형식의 모델을 읽어 CPU·GPU에서 로컬 추론을 수행하며, 양자화된 모델을 소비자용 하드웨어에서 실행하는 대표적인 소프트웨어로 널리 쓰인다.

=== whisper.cpp ===
OpenAI의 음성 인식 모델 Whisper를 C/C++로 포팅한 프로젝트이다. [[ggml]] 기반으로 작성되어 로컬 환경에서 음성 인식 모델을 실행한다.

=== 개발 도구와 애플리케이션 ===
조직은 실행기 외에도 다양한 개발 도구와 애플리케이션을 함께 관리한다.

* '''convert''': 여러 형식의 모델을 [[GGUF]]로 변환하는 도구.
* '''p1''': LLM 기반 코드 완성 엔진.
* '''llama.vim''', '''llama.vscode''', '''llama.qtcreator''': 편집기·IDE에서 LLM 지원 코드 완성을 제공하는 플러그인.
* '''Llama-macOS''', '''Llama-Windows''': 데스크톱에서 [[llama.cpp]]를 활용하는 애플리케이션.
* '''llama.pages''': [[llama.cpp]] 공식 웹사이트.
* '''llama-install.sh''': [[llama.cpp]] 기반 도구의 설치·빌드 스크립트.
* '''llama.brand''': [[llama.cpp]]의 브랜드 자산.
* '''ci''', '''gha''', '''ccache-action''': [[ggml]] 및 관련 프로젝트의 CI 인프라와 GitHub Actions 도구.

== 생태계에서의 역할 ==
[[ggml]]-org는 [[ggml]] 텐서 라이브러리, [[llama.cpp]] 실행기, [[GGUF]] 모델 파일 형식으로 이어지는 로컬 추론 생태계의 중심 조직이다. 이 생태계는 클라우드 API에 의존하지 않고 개인용 하드웨어에서 모델을 실행하려는 흐름에서 널리 사용된다. 조직의 프로젝트는 대부분 MIT 라이선스로 공개되어 있다.

== 함께 보기 ==

* [[Ggml]] — [[ggml]] 텐서 라이브러리 문서

== 출처 ==

* [https://github.com/ggml-org ggml-org GitHub 조직]
* [https://ggml.ai ggml.ai 공식 웹사이트]
* [https://github.com/ggml-org/ggml ggml 저장소]
* [https://github.com/ggml-org/llama.cpp llama.cpp 저장소]
* [https://github.com/ggml-org/whisper.cpp whisper.cpp 저장소]

[[분류:머신 러닝]]
[[분류:오픈 소스]]