공개된 LLM 18종은 고가의 그래픽처리장치(GPU) 장비 없이도 누구나 초거대 AI를 활용할 수 있도록 동적 양자화 기술이 적용된 것이 특징이다.
동적 양자화란 AI 모델이 사용하는 수치를 압축해 배포한 뒤 실제 활용 시점에 이를 복원해 연산 성능과 효율성을 동시에 높이는 기술이다. BC카드는 자체 기술을 통해 수치 손실 없이 기존 정확도를 유지하는 '손실률 0%' 양자화를 구현했다. 이로써 GPU 사용량 감소에 따른 처리 속도 향상은 물론 산출 결과물의 품질 저하 없이 안정적인 AI 모델 구동이 가능해져 고비용 인프라에 대한 의존도를 획기적으로 낮출 수 있는 전환점이 마련됐다.
같은 변화는 단순한 기술 혁신을 넘어, AI 서비스의 진입 장벽을 낮추는 중요한 계기가 되고 있다. 고가 장비 도입에 부담을 느꼈던 중소기업, 스타트업, 소상공인들도 보다 저렴한 환경에서 초거대 AI 기술을 실질적으로 활용할 수 있게 된 것이다.
BC카드는 해당 기술을 자사 서비스에도 적극적으로 도입하고 있다. 현재 BC카드 AI 에이전트인 '모아이(MoAI)'를 통해 사내 지식 질의 응답, 가맹점 심사 자동화, 고객 민원에 대한 분류 및 처리 등 직원들의 반복된 업무를 줄이고 있다. 향후에는 BC카드 소상공인 가맹점주를 위한 AI 기반 가맹점 추천 및 마케팅 캠페인 기획 등 가맹점 지원 서비스도 연내 출시할 계획이다. 또 AI를 손쉽게 활용할 수 있도록 MCP(Module Context Protocol) 기반의 다양한 기능들을 간편한 인터페이스로 제공하는 통합 솔루션도 함께 선보일 예정이다.
coddy@fnnews.com 예병정 기자
※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지