안녕하세요, 리키입니다. 요즘 제가 관심을 가지고 지내고 있는 분야 중 하나가 바로 로컬 대규모 언어 모델(LLM)을 구동하는 일입니다. 특히 오라마(Ollama)라는 도구를 사용하면서, 모델 자체는 훌륭하지만 사용자 인터페이스(UI)가 좀 아쉽다는 느낌을 받았습니다.
오라마는 로컬 LLM을 시작하기에 정말 좋은 도구입니다. 모델을 다운로드해서 실행하는 과정은 아주 간단하고 훌륭하더군요. 하지만 저는 이 도구를 사용하면서 경험을 더 풍부하게 만들고 싶었고, 특히 휴대폰으로도 제대로 접근할 수 있는 인터페이스가 부족하다는 점이 가장 아쉬웠습니다. 단순히 서버에서 모델을 구동하는 인프라 역할만 하는 것이지, 실제 사용자가 편하게 대화할 수 있는 환경이 필요했던 것입니다.
그래서 저는 오라마와 연동하여 사용할 수 있는 제대로 된 사용자 인터페이스를 찾기 시작했습니다. 여러 옵션을 살펴보던 중, 저에게 가장 잘 맞는 것을 발견했는데 바로 오픈 웹UI(Open WebUI)였습니다. 이 도구는 오라마와 완벽하게 연결되어 작동하며, 마치 챗지피티(ChatGPT)처럼 사용하기 편리한 환경을 제공해 주더군요. 저는 이 오픈 웹UI를 사용하면서 정말 만족하고 있습니다.
오픈 웹UI를 설치하는 과정도 생각보다 아주 간단합니다. 도커(Docker)만 설치되어 있다면, 몇 가지 명령어만 실행하면 바로 환경을 구축할 수 있습니다. 이 방식은 무료이고 오픈 소스이며, 제 컴퓨터 위에서 완전히 독립적으로 작동하기 때문에 보안이나 접근성 면에서도 아주 좋다고 생각합니다. 복잡한 설정 없이도 LLM을 쉽게 접하고 활용할 수 있게 해주는 것이죠.
결론적으로, 오라마는 모델을 구동하는 기반(인프라)을 제공하고, 오픈 웹UI는 그 기반 위에 사용자 친화적인 얼굴(인터페이스)을 붙여주는 역할을 한다고 볼 수 있습니다. 여러분도 로컬 LLM을 경험하고 싶으시다면, 이 두 가지를 함께 사용해 보시는 것을 추천드립니다. 정말 유용하고 편리한 경험을 하게 되실 겁니다.
참고 원문: https://www.makeuseof.com/local-llm-felt-unfinished-until-put-proper-interface-in-front-of-it/