안녕하세요, 리키입니다. 오늘은 구글에서 공개한 새로운 AI 모델에 대한 이야기를 좀 해보려고 합니다. 특히 ‘디퓨전젬마(DiffusionGemma)’라는 오픈 모델이 어떻게 기존의 방식과 다른지 그 차이를 중심으로 설명해 드릴게요.
구글이 지난 6월 10일에 디퓨전젬마를 공개했습니다. 이 모델은 주류로 자리 잡은 자기회귀 모델과는 조금 다른 방식으로 작동하는 ‘확산 언어 모델’을 기반으로 하고 있습니다. 빠른 응답 속도가 중요한 분야에서 확산 모델의 활약이 기대되는 이유가 바로 여기에 있는 거죠.
자기회귀 모델과 확산 모델의 차이
우리가 흔히 사용하는 주류 언어 모델은 토큰 하나하나를 순서대로 계산해서 출력하는 자기회귀(Autoregressive) 방식을 채택하고 있습니다. 이 방식은 추론 정밀도는 높지만 처리 속도가 느리다는 단점이 있더군요. 반면에 확산 언어 모델은 이미지 생성 AI에서 쓰는 방식처럼 노이즈 전체를 여러 번 반복 처리해서 완성형에 가깝게 만드는 구조입니다. 이러한 방식을 언어 모델에 적용하니 자기회귀 모델보다 훨씬 빠르게 처리가 가능하다는 점이 큰 장점입니다.
구글도 이미 2025년 5월에 ‘제미나이 디퓨전’을 발표한 바 있습니다. 이번에 공개된 디퓨전젬마는 바로 그 제미나이 디퓨전의 성과를 토대로 구축된 오픈 모델입니다. 전체 파라미터 수는 252억 개이고 활성 파라미터 수는 38억 개인 MoE(Mixture of Experts) 모델로 구성되어 있습니다.
흥미로운 점은 성능 비교인데요. 같은 규모의 다른 모델과 비교했을 때, 디퓨전젬마는 ‘젬마 4’와 비교해 볼 수 있습니다. 디퓨전젬마는 동일한 성능을 유지하면서도 젬마 4 26B A4B 모델에 비해 무려 4배 빠르게 동작한다는 결과가 나왔습니다. 이는 처리 속도와 성능 모두에서 균형을 잡았다는 의미로 보입니다.
확산 언어 모델은 같은 부분에 대해 반복 시도하는 처리에 강점을 보이기도 합니다. 예를 들어, 스도쿠 문제를 풀 때 디퓨전젬마에 파인튜닝을 적용하면 같은 칸에 대해 여러 번 다시 생각하며 높은 정밀도로 작업을 수행할 수 있게 된다는 것을 보여주었죠. 또한 구글은 엔비디아와 협력하여 NVFP4 양자화 버전도 개발하고 있는데, 이는 단일 지포스 RTX 5090으로 동작할 수 있도록 만들어졌습니다.