안녕하세요, 리키입니다. 오늘 전해 드릴 소식은 AMD의 NPU를 활용해서 로컬 환경에서 대규모 언어 모델(LLM)을 구동할 수 있는 AI 도구에 대한 내용입니다.
최근 엔비디아나 인텔 대비 상대적으로 뒤처졌다는 평가가 있었던 AMD의 AI 기능이 최근 들어 크게 발전하고 있다는 점이 주목받고 있습니다. 그중에서도 ‘Lemonade Server’라는 도구가 이러한 발전을 상징하는 것으로 보입니다. 이 서버는 라이젠 AI를 기반으로 다양한 AI 실행 환경을 통합한 로컬 AI 구동 환경이며, 외부에 호출하여 사용하거나 데스크톱 클라이언트 형태로도 사용할 수 있다고 전해집니다.
Lemonade Server를 이용할 때 가장 중요한 부분은 AMD의 NPU(신경망 처리 장치)를 활용하는 점입니다. 특히 NPU 전용 LLM 실행 환경인 ‘FastFlowLM’을 통해 다양한 AI 모델들을 구동할 수 있습니다. 이 시스템에서는 특정 모델을 다운로드하고 실행하면, CPU나 GPU가 아닌 NPU만으로도 추론이 가능하며, 이는 매우 효율적인 방식으로 작동한다는 것이 보도되고 있습니다.
또한, ‘Ryzen AI LLM’이라는 기능은 NPU와 GPU를 함께 사용하는 하이브리드 동작을 지원합니다. 예를 들어, 어떤 작업의 이해 과정에는 NPU를 사용하고 실제 답변 추론에는 GPU를 활용하는 방식입니다. 이러한 조합 덕분에 시스템이 자원을 적절하게 분배하여 처리하기 때문에 속도 저하 없이 효율적인 AI 구동이 가능하다고 합니다.
이러한 로컬 AI 환경에서는 단순히 텍스트 생성뿐만 아니라 다양한 멀티미디어 기능도 지원합니다. 예를 들어, ‘Lemonade’ 소프트웨어에서 제공하는 모델들을 통해 음성 인식(Whisper), 음성 발화(kokoro-v1), 그리고 이미지 생성(SD-Turbo)과 같은 기능까지 NPU 환경 내에서 동시에 처리할 수 있게 되었습니다.
결론적으로, AMD의 NPU 기술을 기반으로 로컬 AI를 구동하는 시스템은 단순히 LLM 실행을 넘어 음성 인식이나 이미지 생성 같은 다양한 작업을 통합하여 수행할 수 있는 가능성을 보여주고 있습니다. 이는 개인 기기에서도 강력하고 효율적인 AI 기능을 구현할 수 있다는 점에서 큰 의미가 있다고 전해집니다.
참고 원문: https://pc.watch.impress.co.jp/docs/topic/feature/2125083.html