안녕하세요, 리키입니다. 오늘은 인터넷 연결 없이도 우리 컴퓨터에서 직접 사용할 수 있는 오픈 소스 챗지피티를 만드는 방법에 대해 이야기해 보려고 합니다.
요즘 클로드(Claude), 제미나이(Gemini), 그리고 챗지피티(ChatGPT) 같은 인공지능 서비스들이 정말 대세죠. 물론 돈을 내지 않고도 사용할 수 있지만, 사용 제한이 점점 많아지고 인터넷 연결이 필수라는 점은 아쉽습니다. 그래서 저는 비용이나 인터넷 걱정 없이 우리 PC나 맥에서 직접 실행할 수 있는 오픈 소스 챗지피티를 만드는 방법을 소개해 드리려고 합니다.
이런 것을 가능하게 해주는 것이 바로 OpenAI가 지난해 출시한 오픈 웨이트 모델인 GPT-OSS입니다. 이 모델들은 GPT-4를 기반으로 하고 있어서 매우 똑똑하며, 프로그래밍이나 창작, 이미지 분석 등 다양한 작업을 수행할 수 있습니다. 특히 가장 작은 버전은 16GB의 메모리만 있어도 실행이 가능하기 때문에, 아주 고성능이 아니어도 일반적인 PC나 맥이라면 충분히 시작할 수 있더군요.
로컬 환경에서 실행하는 방법
혹시 이런 모델을 돌리는 것이 복잡하고 프로그래밍 지식이 있어야 한다고 생각하시나요? 전혀 그렇지 않습니다. 시작하기 위해 필요한 것은 무료 애플리케이션인 LM Studio입니다. 이 프로그램만 있으면 누구나 쉽게 여러 인공지능 모델을 다운로드하고 실행할 수 있습니다. 윈도우, 맥스(macOS), 리눅스 등 다양한 운영체제에서 설치가 가능하니 걱정하지 않으셔도 됩니다.
LM Studio를 이용해 GPT-OSS 모델을 다운로드한 다음, 이를 로컬 환경에 적용하면 바로 나만의 오픈 소스 챗지피티를 갖게 되는 겁니다. 인터넷 연결 없이도 채팅을 할 수 있고 토큰 사용량이나 스타일 같은 제약도 없죠. 다만, 여기서 한 가지 알아두셔야 할 점은, 이렇게 로컬에서 실행하는 모델은 웹 검색 기능이 없고 지식 업데이트가 2023년으로 제한된다는 것입니다.
하지만 이런 한계에도 불구하고, 처음 시작하는 분들이나 개인적으로 실험해 보고 싶은 분들에게는 정말 훌륭한 대안이라고 저는 생각합니다. 여러분도 이 방법을 통해 직접 인공지능을 경험해 보시길 바랍니다.