안녕하세요, 리키입니다. 오늘은 BC카드가 어떻게 인공지능(AI)을 활용하여 비즈니스 혁신을 이루어냈는지, 그 과정에서 어떤 전략적 선택을 했는지에 대해 이야기해 보려고 합니다.
BC카드는 AI 네이티브 기업으로 전환하기 위해 단순히 GPU 증설에만 집중하는 대신 소프트웨어 최적화라는 새로운 길을 택했습니다. 이태영 팀장은 “열심히 만들면 또 나오고, 또 만들면 또 나왔습니다”라며 독자 모델 개발의 한계를 인식하고, 오픈소스를 우리 환경에 맞게 최적화하며 자체 에이전트를 만드는 것이 더 낫다고 판단했다고 설명합니다. 이는 AI를 직접 만들고(Build AI), 활용하고(Make AI), 운영(Operate AI)하는 세 가지 역량을 조직 내부에 내재화하려는 전략이죠.
과거 BC카드는 메타 라마3 기반의 자체 LLM을 개발하며 금융 특화 데이터셋도 구축했지만, 글로벌 모델 경쟁 속에서 한계를 느꼈습니다. 그래서 BC카드는 빅테크 오픈소스 모델을 기반으로 자사 환경에 맞게 최적화하는 방향으로 전략을 전환했습니다. 현재는 허깅페이스에 다양한 모델과 데이터셋을 공개하고 있으며, 국내 금융권에서 오픈소스 LLM에 기여하는 유일한 기업이 되었다고 합니다.
SW 최적화를 통한 성능 극대화
성능 향상을 위해 BC카드는 하드웨어 증설 대신 소프트웨어 기반의 추론 최적화에 집중했습니다. 특히 vLLM과 양자화(Quantization) 기술을 도입하여 GPU 자원의 효율을 극대화한 것이 핵심입니다. 이 기술들을 적용함으로써 기존 대비 처리량을 10배 이상 높이고, FP8 동적 양자화를 통해 모델 크기를 절반으로 줄이면서도 성능은 최대 3배까지 끌어올릴 수 있었습니다.
더 나아가 BC카드는 스펙큘레이티브 디코딩과 같은 기술을 추가하여 처리량을 더욱 향상시켰습니다. 이는 대형 모델의 생성 횟수를 줄여 속도를 높이는 방식으로, 결국 GPU를 더 사는 것보다 소프트웨어 최적화가 AI 경쟁력을 가르는 결정적인 요소임을 보여주었습니다.
이러한 SW 기반의 추론 최적화 성과는 단일 대형 모델에 의존하지 않고 여러 소형 모델을 동시에 구동하는 ‘SLM 스웜(Swarm)’ 구조를 도입하는 계기가 되었습니다. BC카드는 이 SLM 스웜 구조를 통해 가맹점 심사, 고객센터 자동화 등 복합 업무를 에이전트 AI로 처리하며 기존 인력 대비 엄청난 효율성을 달성했습니다.
결론적으로 BC카드는 오픈소스 아키텍처와 레드햇의 오픈시프트 AI 플랫폼을 활용하여 인프라 효율화를 이루었고, 이를 통해 비용은 절감하고 정확도는 유지하면서도 업무 자동화라는 실질적인 성과를 창출해냈습니다. 이는 컴퓨터 과학의 기본 알고리즘이 AI에도 적용된다는 것을 증명하는 사례라고 할 수 있습니다.
참고 원문: https://www.ddaily.co.kr/page/view/2026061013474890426