안녕하세요, 리키입니다. 오늘은 최근에 한국의 인공지능 안전성 분야에서 아주 중요한 소식이 있었는데요, KT가 공개한 새로운 벤치마크에 대해 여러분과 함께 이야기 나눠보려고 합니다.
이번에 KT가 멀티모달 대형언어모델(MLLM)을 평가하는 한국 특화 AI 벤치마크인 ‘KSAFE-MM’을 공개했습니다. 이 벤치마크는 단순히 기술적인 성능만 보는 것이 아니라, 인공지능이 한국 사회의 고유한 이슈나 문화적 맥락을 얼마나 안전하게 이해하고 답변하는지를 중점적으로 평가한다는 점이 아주 특별합니다.
특히 KSAFE-MM은 전세 사기나 독도 분쟁 같은 한국에서 민감할 수 있는 주제들을 반영하여 ‘KSAFE-MM-C’라는 부분을 구성했습니다. 이렇게 국내의 예민한 이슈를 직접 반영함으로써, AI가 특정 문화권에 따라 안전성을 제대로 갖추는지 검증하는 데 큰 의미가 있습니다.
이 벤치마크는 총 1만 4천여 개의 정밀 평가 샘플로 이루어져 국내 최대 규모를 자랑하고 있으며, 구글의 젬마(Gemma)나 네이버의 하이퍼클로바X 같은 글로벌 대형 언어모델 12종을 대상으로 실제 검증을 마쳤더군요. 단순히 데이터를 모으는 것을 넘어, 데이터 수집부터 결과 배포까지 모든 과정을 자동화한 ‘범용 파이프라인’을 제시했다는 점이 핵심입니다.
기존의 방식은 전문가가 수동으로 검수해야 해서 비용도 많이 들고 효율성도 떨어졌는데요. KSAFE-MM은 온라인 커뮤니티 데이터 수집, 질문 생성, 심지어 AI의 안전장치를 교묘하게 우회하는 ‘탈옥’ 공격까지 자동으로 걸러내는 4단계 시스템을 구현했습니다. 덕분에 특정 문화권 전문가 없이도 현지 특성을 반영한 안전성 평가를 신속하고 효율적으로 할 수 있는 표준 프레임워크가 마련된 것입니다.
이 연구 결과는 AI 서비스의 안전성 검증이나 레드팀 테스트 등 다양한 목적으로 활용될 수 있습니다. KT와 고려대학교 공동 연구진은 이 벤치마크가 학계와 산업계에서 한국어 및 한국 문화 맥락의 AI 안전성을 검증하는 공통 기준으로 자리 잡기를 기대하고 있습니다.