AI PC GPU NPU 분리 추론으로 효율 높인다

안녕하세요, 리키입니다. 요즘 인공지능(AI) 분야에서 정말 많은 기술들이 나오고 있는데요, 오늘은 그중에서도 하드웨어와 안전성, 그리고 실제 물리적인 환경을 연결하는 이야기에 대해 좀 들려드리려고 합니다.

먼저, AI PC 환경에서 효율을 높이는 기술에 대해 이야기해 보겠습니다. AI 경량화 전문기업인 노타(Nota)가 이기종 컴퓨팅 기반의 대규모언어모델(LLM) 추론 최적화 기술을 구현했다는 소식이 있습니다. 노타는 인텔 루나 레이크 기반의 AI PC에서 그래픽처리장치(GPU)와 신경망처리장치(NPU)를 함께 활용하는 ‘분리형 추론’ 방식을 적용했습니다. 이 방식 덕분에 단일 GPU 방식에 비해 토큰당 에너지 소비를 32%나 줄이고 생성 처리량을 12% 높이는 성과를 얻었더군요. 특히 단일 NPU 방식과 비교했을 때는 첫 응답 지연시간을 89%나 단축하는 효과를 보았다고 합니다.

다음으로, AI의 안전성과 신뢰성에 대한 이야기도 있습니다. AI 보안 전문기업인 에임인텔리전스(Aimenintelligence)는 전 세계의 법률, 제도, 문화적 맥락을 반영하여 LLM의 신뢰도를 평가하는 글로벌 벤치마크를 공개했습니다. 이 벤치마크 이름은 ‘XL-세이프티벤치’인데, 한국, 미국, 인도, 프랑스, 독일, 아랍에미리트 등 10개국을 대상으로 5천500개의 현지화 테스트 케이스를 구축하여 37개 주요 LLM의 법적·문화적 이해도를 측정했다고 하더군요. 이는 AI가 다양한 환경에서 안전하게 작동하는지 확인하는 데 중요한 기준이 될 것 같습니다.

또 다른 흥미로운 소식은 AI를 실제 물리적인 세계와 연결하는 ‘피지컬 AI 생태계’ 확장입니다. 3D AI 전문기업인 엔닷라이트(Endlight)가 엔비디아(NVIDIA)가 대만 스타트업 중 최초로 투자한 산업용 디지털 트윈 기업인 메타AI(MetAI)와 업무협약을 체결했습니다. 이 협력을 통해 엔닷라이트의 3D 데이터 생성 엔진과 메타AI의 디지털 트윈 플랫폼을 결합하여, 에셋 생성부터 환경 조립, 시뮬레이션 학습까지 피지컬 AI 전 과정을 하나의 워크플로우로 자동화하는 통합 파이프라인을 구축하는 데 나선다고 합니다.

결론적으로, 요즘 AI 기술은 단순히 성능을 높이는 것을 넘어, 에너지 효율성, 안전성 확보, 그리고 실제 물리적 환경과의 통합이라는 세 가지 축을 중심으로 발전하고 있는 모습입니다. 이러한 기술들이 앞으로 우리 삶에 어떻게 적용될지 지켜보는 것이 중요하겠다고 생각합니다.


참고 원문: https://www.yna.co.kr/amp/view/AKR20260604065000017

댓글 달기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

위로 스크롤