안녕하세요, 리키입니다. 오늘은 구글 딥마인드에서 개발한 제미나이 포(Gemma 4) 모델을 모바일이나 노트북 같은 기기에서 더 효율적으로 돌릴 수 있도록 최적화하는 방법에 대해 이야기해 보려고 합니다.
제미나이 포 모델의 새로운 버전들을 출시하면서 저희는 메모리 요구 사항을 크게 줄이고 기기 내 성능을 극대화하기 위해 양자화 인식 훈련(Quantization-Aware Training, QAT) 방식을 적용했습니다. QAT는 훈련 과정에서 양자화를 시뮬레이션하여 모델을 압축할 때 품질 손실을 최소화하는 방식입니다. 단순히 훈련 후에 양자화하는 일반적인 방법보다 훨씬 더 높은 전체 품질을 유지하면서 효율성을 높일 수 있다는 점이 중요합니다.
특히 저희는 인기 있는 Q4_0 같은 양자화 형식뿐만 아니라, 모바일 환경에 특화된 새로운 양자화 형식도 함께 제공하고 있습니다. 이 모바일 특화 형식을 사용함으로써 제미나이 포 E2B 모델의 메모리 사용량을 1기가바이트(GB) 수준으로 줄일 수 있었더군요. 이렇게 하면 모델의 성능과 품질을 유지하면서 필요한 메모리를 극적으로 절약할 수 있게 됩니다.
모바일 환경 최적화를 위한 기술
기존의 표준 압축 방식은 모바일 프로세서에서 효율적으로 작동하기가 쉽지 않았습니다. 그래서 저희는 엣지 하드웨어에 맞춰 특별히 설계된 맞춤형 모바일 양자화 스키마를 개발했습니다. 이 방법에는 몇 가지 핵심적인 최적화 과정이 포함되어 있습니다.
첫째, 정적 활성화(Static activations)를 훈련 중에 미리 계산하여 모바일 칩의 부담을 줄이고 응답 속도를 빠르게 만들었습니다. 둘째, 채널별 양자화(Channel-wise quantization)를 통해 모바일 가속기 설계에 맞게 데이터를 구조화했습니다. 그리고 세 번째로, 토큰을 생성하는 특정 부분만 2비트 수준으로 강력하게 압축하고 핵심 추론 레이어는 높은 정밀도를 유지하여 모델의 지능은 그대로 보존했죠.
마지막으로 임베딩과 키-값 캐시(KV cache) 최적화에 집중했습니다. 즉, 모델의 어휘 목록과 단기 기억 영역을 압축하는 데 중점을 두어 메모리 절약을 극대화한 것입니다. 이러한 기술들을 통해 제미나이 포 모델은 일반 소비자 기기에서 훨씬 더 부드럽고 효율적으로 작동할 수 있게 되었습니다.
