엔비디아가 사용자만의 콘텐츠로 챗봇을 개인화할 수 있는 챗 위드 RTX(Chat With RXT)를 윈도 PC에서 제공한다고 14일 밝혔다.
챗 위드 RTX는 사용자가 자신만의 콘텐츠로 챗봇을 개인화 할 수 있는 기술 데모다. 최소 8GB의 비디오 랜덤 액세스 메모리 또는 VRAM을 갖춘 로컬 엔비디아 지포스 RTX 30 시리즈 GPU 이상으로 가속되며 현재 무료로 다운로드가 가능하다.
챗 위드 RTX는 검색 증강생성(RAG), 엔비디아 텐서RT-거대언어모델(LLM) 소프트웨어, 엔비디아 RTX 가속화 등을 사용해 로컬 지포스 기반 윈도우 PC에 생성형 AI 기능을 제공한다. 사용자는 PC의 로컬 파일을 데이터셋으로 미스트랄이나 라마 2와 같은 오픈소스 LLM에 빠르고 쉽게 연결해 상황에 맞는 빠른 답변을 얻을 수 있다.
사용자들은 메모나 저장해둔 콘텐츠를 검색하는 대신 간단한 검색어를 입력해 챗봇을 이용할 수 있다. 예를 들어 '라스베가스에 있을 때 내 친구가 추천한 레스토랑이 어디야?'라고 질문하면 챗 위드 RTX가 사용자가 지정한 로컬 파일을 스캔해 상황에 맞는 답변을 제공한다.
이 도구는 txt, pdf, doc/docx, xml 등 다양한 파일 형식을 지원한다. 애플리케이션에서 해당 형식의 파일들을 포함한 폴더를 가리키면 몇 초 만에 이 파일들은 라이브러리에 로드된다.
사용자는 유튜브 동영상 혹은 재생 목록의 정보도 포함할 수 있다. 챗 위드 RTX에 동영상 URL을 추가하면 사용자는 해당 정보를 챗봇에 통합해 상황에 맞는 질문을 할 수 있다. 좋아하는 인플루언서 동영상 콘텐츠를 기반으로 여행 추천을 요청하거나 우수한 교육 자료를 기반으로 빠른 튜토리얼과 사용법을 안내를 받을 수 있다고 회사 측은 설명했다.
solidkjy@fnnews.com 구자윤 기자
※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지