LLMOps
LLMOps는 대규모 언어 모델(LLM)을 활용한 애플리케이션의 개발·배포·운영을 다루는 실무이다. MLOps의 원리를 언어 모델 특유의 워크플로우에 적용한 것으로, 기존 모델 운영과는 다른 과제가 많다.
특징
- 프롬프트와 프롬프트 버전 관리
- 파인튜닝·양자화 등 모델 적응 — GGUF, llama.cpp
- 검색 증강 생성(RAG) 파이프라인 구축
- LLM 평가: 정확성·환각·안전성 평가
- 가드레일·필터로 출력 통제
- 토큰 비용·지연 시간·관측성 관리
Hugging Face, Ollama 등은 LLM 애플리케이션의 개발·배포 기반으로 자주 사용된다.