안녕하세요, 리키입니다. 오늘은 구글에서 공개한 메모리 절감형 AI 모델에 대한 소식을 여러분께 전달해 드리려 합니다.
AI를 실행하려면 대용량 메모리가 필수적이죠. 그래서 최근에는 AI 모델의 메모리 사용량을 줄이는 양자화(quantization) 기술이 많이 활용되고 있습니다. 이번에 구글은 학습 단계에서 양자화를 시뮬레이션하는 접근 방식을 채택하여 메모리를 절감한 ‘젬마 4 QAT(Gemma 4 QAT)’를 공개했습니다.
일반적인 환경에서 AI 모델을 로컬 PC로 실행할 때, 모델은 우선 초고속 VRAM에 로드됩니다. 만약 VRAM 용량이 부족하면 상대적으로 느린 RAM으로 넘어가고, 그것마저 수용되지 않으면 SSD의 스왑 파일에 저장되더군요. 이처럼 시스템을 고속으로 구동하려면 AI 모델이 VRAM에 들어갈 수 있는 크기를 선택해야 합니다. 고성능 모델은 메모리 사용량이 매우 큰 편인데, 양자화 기술을 활용하면 품질 저하를 최소화하면서도 가정용 PC에서도 고성능 AI 모델을 실행할 수 있게 된 것입니다.
기존의 양자화 방식은 완성된 모델에 사후적으로 적용하는 경우가 많아 응답 품질이 떨어질 수 있다는 단점이 있었습니다. 하지만 젬마 4 QAT는 AI 모델 학습 단계에서부터 양자화를 시뮬레이션하는 QAT(Quantization-Aware Training) 기술을 사용했습니다. 이 덕분에 메모리 절감을 실현하면서도 중요한 연산 정밀도를 유지하여 품질 저하를 최소화하는 데 성공했다는 점이 매우 중요합니다.
공개된 젬마 4 QAT 모델은 젬마 4의 다양한 변형 모델들(E2B, E4B, 12B 등)에 모두 적용 가능하며, 특히 모바일 환경에 최적화된 버전도 별도로 제공됩니다. 예를 들어, 기존 젬마 4 E2B는 11.4GB 메모리를 소비했지만 QAT 버전을 사용하면 2.9GB로 대폭 줄어들었고, 심지어 이미지·음성 인식 기능을 제외한 텍스트 전용 모델은 0.84GB라는 적은 메모리로도 실행이 가능했습니다.
결론적으로 젬마 4 QAT는 메모리 사용량을 획기적으로 줄여주면서도 성능을 유지하는 효과를 보여줍니다. 이 모델들은 무료로 다운로드할 수 있으며, llama.cpp나 올라마(Ollama), LM 스튜디오(LM Studio) 같은 다양한 환경에서 실행이 가능하여 많은 분들이 AI 기술을 더 쉽게 접하고 활용할 수 있게 될 것 같습니다.