https://wiki.conaondaapps.com/index.php?action=history&feed=atom&title=%EB%AA%A8%EB%8D%B8_%EC%84%9C%EB%B9%99모델 서빙 - 편집 역사2026-08-20T16:43:29Z이 문서의 편집 역사MediaWiki 1.46.0https://wiki.conaondaapps.com/index.php?title=%EB%AA%A8%EB%8D%B8_%EC%84%9C%EB%B9%99&diff=65&oldid=prevAdmina7ec671ac513: migrate: import legacy Wiki content to Vultr2026-08-20T04:19:17Z<p>migrate: import legacy Wiki content to Vultr</p>
<p><b>새 문서</b></p><div>'''모델 서빙'''은 학습된 머신 러닝 모델을 애플리케이션에서 사용할 수 있도록 API나 배치 작업의 형태로 제공하는 과정이다. [[MLOps]]에서 모델을 운영 환경에 배포하는 핵심 단계이다.<br />
<br />
== 방식 ==<br />
<br />
* 실시간 서빙: 낮은 지연 시간으로 개별 요청에 예측을 반환 (REST·gRPC API)<br />
* 배치 서빙: 대량 데이터를 주기적으로 처리<br />
* 엣지·로컬 서빙: 모바일·임베디드·개인 하드웨어에서 실행<br />
<br />
추론 성능을 위해 양자화·배칭·캐싱 같은 최적화가 사용되며, [[GGUF]]·[[llama.cpp]] 같은 로컬 추론 스택도 서빙 방식의 하나로 볼 수 있다. GPU 서버 기반 서빙에는 TensorRT, Triton Inference Server 등이 널리 쓰인다.<br />
<br />
== 함께 보기 ==<br />
<br />
* [[MLOps]]<br />
* [[모델 레지스트리]]<br />
* [[모델 모니터링]]<br />
<br />
== 출처 ==<br />
<br />
* [https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/index.html Triton Inference Server 문서]<br />
<br />
[[분류:머신 러닝]]</div>Admina7ec671ac513