KAIST, 기존 GPU 기술 대비 2배 이상 빨라
[파이낸셜뉴스] 한국과학기술원(KAIST) 전기및전자공학부 정명수 교수팀이 엔비디아(NVIDIA)에 맞설 수 있는 차세대 인터페이스 기술이 활성화된 고용량·고성능 AI 가속기를 개발했다. 정명수 교수가 창업한 반도체 팹리스 스타트업 '파네시아(Panmnesia)'의 초고속 컴퓨터 연결 링크(CXL) 컨트롤러와 CXL-그래픽 처리 장치(GPU) 프로토타입을 활용해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행했다.
8일 KAIST에 따르면, 연구진은 이를 위해 CXL이 활성화된 고용량 GPU 장치의 메모리 읽기·쓰기 성능 저하 원인을 분석해 개선하는 기술과 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다.
정명수 교수는 "CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것"이라고 말했다.
최신 GPU의 내부 메모리 용량은 수십 기가바이트(GB)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다. 대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 일반적으로 GPU 여러 대를 연결하는 방식을 채택하지만, 이 방법은 최신 GPU의 높은 가격으로 인해 총소유비용(TCO)을 과도하게 높이는 문제를 일으킨다.
우선 연구진은 CXL-GPU 장치의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석해 이를 개선하는 기술을 개발했다. 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발하여 GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다.
즉, 메모리 확장 장치가 내부 작업을 수행 상태에 따라 작업을 하도록 했다. 그결과, GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없이 바로 쓰기가 실행돼 성능 저하 문제를 해결했다.
또 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작한다. 이에따라 GPU 장치가 실제 데이터를 필요로 할 때는 캐시 메모리에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.
연구진은 이번에 개발한 기술을 오는 7월 산타클라라 USENIX 연합 학회와 핫스토리지의 연구 발표장에서 결과를 선보인다.
한편, 파네시아는 업계 최초로 CXL 메모리 관리 동작에 소요되는 왕복 지연시간을 두 자리 나노초 이하로 줄인 순수 국내기술의 자체 CXL 컨트롤러를 보유하고 있다. 이는 전세계 최신 CXL 컨트롤러등 대비 3배 이상 빠른 속도다. 파네시아는 고속 CXL 컨트롤러를 활용해 여러 개의 메모리 확장 장치를 GPU에 바로 연결함으로써 단일 GPU가 테라바이트 수준의 대규모 메모리 공간을 형성할 수 있도록 했다.
monarch@fnnews.com 김만기 기자
※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지