안녕하세요, 리키입니다. 오늘은 제가 요즘 기술 분야에서 접하고 있는 로컬 대규모 언어 모델(LLM) 환경에 대해 이야기해 보려고 합니다.
많은 분들이 로컬 LLM을 실행하는 방법을 찾을 때 오라마(Ollama)나 람마.cpp(llama.cpp)를 가장 먼저 생각하더군요. 이 도구들은 정말 쉽고, 여러 플랫폼에서 작동하며 복잡한 설정 없이도 모델을 빠르게 구동할 수 있게 해줍니다. 특히 GGUF 같은 모델들을 사용할 때는 이 두 가지가 기본이 되는 것은 당연한 일입니다.
하지만 여기서 문제가 생깁니다. 로컬 모델이 단순한 채팅 수준을 넘어 실제 업무 흐름(워크플로우)의 일부가 되기 시작하면, 단순히 실행하는 것만으로는 충분하지 않다는 것이죠. 여러분이 API 서버를 구축하거나, 요청을 묶어서 처리하고(배칭), 정형화된 결과를 얻거나, 캐시 관리나 성능 최적화 같은 더 깊은 부분에 신경 쓰게 되는 겁니다.
모델 서빙의 차이점
제가 생각하기엔 모델을 ‘대화’하는 것과 ‘서비스’로 제공하는 것은 완전히 다르다고 봅니다. 만약 로컬 모델을 코딩 도구나 에이전트처럼 여러 앱에서 동시에 호출하고, 성능을 최대한 끌어내야 한다면 이야기가 달라지죠. 이때는 오라마보다는 다른 도구들이 필요해집니다.
예를 들어, vLLM이나 SGLang 같은 도구들은 로컬 모델을 단순한 데스크톱 앱이 아니라 실제 추론 서비스(Inference Service)처럼 작동하게 해줍니다. 이들은 OpenAI와 호환되는 API 서버 기능은 물론이고, 고성능 처리, 연속 배치 처리, 캐싱 관리 등을 제공합니다.
vLLM과 SGLang의 역할
vLLM은 모델을 추론 서비스로 만들 때 특히 중요합니다. vLLM의 핵심 기술 중 하나인 ‘PagedAttention’ 같은 기능 덕분에 여러 요청이 동시에 들어와도 GPU 메모리가 병목 현상을 일으키지 않도록 효율적으로 관리할 수 있더군요. 이는 여러 요청이 있을 때 VRAM 낭비를 막아주는 중요한 역할을 합니다.
반면, SGLang은 구조화된 결과 생성이나 에이전트 방식의 작업에 더 특화되어 있습니다. JSON 형식이나 특정 스키마에 맞춰 결과를 내보내야 할 때 유용하죠. SGLang은 예측 디코딩이나 여러 모델을 함께 사용하는 병렬 처리 같은 기능들을 제공하여, 단순히 자유로운 글쓰기가 아니라 프로그램이 요구하는 정형화된 출력을 만드는 데 강점을 보입니다.
참고 원문: https://www.xda-developers.com/most-people-ollama-llama-cpp-local-llms-tool-serious/