안녕하세요, 리키입니다. 요즘 우리가 오픈 웨이트 대규모 언어 모델(LLM)을 직접 구동할 때, vLLM과 Ollama 중 어떤 걸 선택해야 할지 고민이 많더군요. 이 둘은 같은 스펙트럼에 있지만, 하는 일이 완전히 다르다는 점을 이해하시는 게 중요합니다.
간단히 말하면, Ollama는 모델을 쉽게 다운로드해서 바로 채팅을 시작하고 싶을 때, 즉 개인 개발자나 노트북에서 한두 명의 사용자에게 서비스를 제공할 때 아주 편리한 도구입니다. 반면 vLLM은 아마존이나 링크드인 같은 회사처럼 대규모 API를 운영해야 할 때 필요한 고성능 처리 엔진이라고 보시면 됩니다.
vLLM과 Ollama, 핵심 차이점
실제로 2025년에서 2026년까지의 여러 테스트 결과를 보면 그 차이가 명확하게 드러납니다. 같은 하드웨어에서 vLLM은 최대 793 토큰/초를 기록한 반면, Ollama는 약 41 TPS(초당 처리량) 수준에 머물렀더군요. 이는 부하가 걸렸을 때 vLLM이 Ollama보다 대략 19배나 높은 처리량을 보여준다는 의미입니다.
개발자들 사이에서는 여전히 많은 분들이 로컬에서 모델을 테스트하고 싶어 하기 때문에, 단순함과 설치의 용이성 면에서는 Ollama가 더 인기가 많습니다. 실제로 GitHub 저장소 스타 수를 보면 Ollama(약 17만 4천 개)가 vLLM(약 8만 3천 개)보다 훨씬 많은데, 이는 대다수의 사용자가 로컬에서 모델을 시도하는 경우가 많기 때문입니다.
vLLM의 기술적 배경
그렇다면 왜 vLLM이 그렇게 높은 성능을 내는지 궁금하실 겁니다. vLLM은 단순히 속도를 높이는 것을 넘어, 메모리를 효율적으로 관리하는 혁신적인 기술을 사용하고 있습니다. 핵심은 ‘PagedAttention’이라는 기술인데, 이는 운영체제가 가상 메모리를 관리하듯이 모델의 키-값(KV) 캐시를 비연속적인 ‘페이지’ 단위로 관리합니다.
이 방식 덕분에 GPU 메모리 낭비를 크게 줄일 수 있고, 같은 카드에 훨씬 더 많은 동시 요청을 담아 처리할 수 있게 됩니다. 여기에 ‘Continuous Batching’이라는 기술까지 결합하여 토큰 레벨에서 요청들을 끊임없이 교체하면서 GPU가 가장 느린 요청 때문에 놀고 있지 않도록 만듭니다. 이런 방식이 vLLM이 대규모 환경에서 최대의 처리량(throughput)을 달성할 수 있게 하는 핵심이라고 할 수 있겠습니다.