응답률 80%·정답률 85% 목표로 추론형 문제 집중
IBM 왓슨 수준 뛰어넘어
오는 10월 인간과의 퀴즈대결을 앞두고 매주 모의 퀴즈쇼를 펼치고 있는 것. 현재 장학퀴즈에서 우승하기 위해서는 AI의 최소성능이 응답률 50% 수준에서 정답률은 90%에 달해야 하는데, 엑소브레인은 이미 이 수준을 넘어섰다. 또 IBM의 AI 컴퓨터 '왓슨'에 비해 더 많은 추론형 문제들로 훈련을 받고 있어 최종우승 가능성까지 점쳐지고 있다.
■엑소브레인, 역대 장학퀴즈 우승자 수준은 넘어
18일 한국전자통신연구원(ETRI)에 따르면 장학퀴즈 우승을 위한 AI의 최소성능은 두 문제 중 한 문제를 10초 이내 응답해야 하며 정답률은 90%에 이르러야 하는 것으로 분석됐다. 이는 ETRI에서 목표로 설정한 정답률 85%, 응답률 80%와 유사한 수준이다.
실제 장학퀴즈 우승자들을 분석한 결과 응답률은 45.2%, 정답률은 86.7%로 나타나 엑소브레인이 인간을 넘어설 확률이 높다는 전망이 나온다.
응답률은 기계가 정답이라고 판단해 답변할 확률을 말하고, 정답률은 응답했을 때 정답을 말할 확률이다. 오답으로 답할 경우 퀴즈에서 감점을 당하므로 기계 입장에선 보유한 지식으로 추론해 정답과 오답 여부를 판단한 뒤 답하는 것이다.
이같이 응답률과 정답률이 연동됨에 따라 학계에선 높은 정확성과 중간 정도의 응답률로 대응해야 할지를 고심하는 등 전략 세우기에 골몰하고 있다.
김현기 ETRI 지식마이닝연구실장은 "규칙이 정해진 알파고와 달리 언어를 다루는 엑소브레인은 불확실성을 다루므로 추론을 해야 한다"며 "현재 주 장원전에서 우승하는 것이 최소 수준의 성능이지만, 확실한 정답률과 응답률은 왕중왕전 우승자 수준이 될 때 공개할 것"이라고 말했다.
■왓슨보다 추론형 문제 더 많이 풀어…우승 확률 ↑
엑소브레인은 현재 일상에서 쓰이는 '자연어'를 기반으로 지식소통까지 가능한 수준으로 개발되고 있다. 현재 자연어 구문 분석 성능은 엑소브레인이 91.2%로 88.7% 수준인 IBM 왓슨을 뛰어넘은 것으로 나타났다.
또 엑소브레인은 아시아 최대규모인 한국어 위키백과 7배가량의 지식베이스를 완성했다. 게다가 귀납적.연역적 복합추론을 통한 질의응답 기술 검증도 완료된 상태다.
현재 국내에서 개발 중인 '와이즈(WISE) 질의응답' 문제 난이도 비중 가운데 그림과 음악 등 시청각 문제와 추론형 문제가 왓슨에 비해 각각 2.9%, 16.8%씩 많아 성능 측면에서 왓슨을 따라잡고 있다는 분석도 나왔다.
학계 관계자는 "자연어 질의응답 원천기술을 개발하면 AI 신사업은 물론 고용창출도 상당할 것"이라며 "추론이 필요한 자연어 질의응답 기술은 AI에서 어려운 부분이지만 성공할 경우 수익성이 높을 것으로 추산된다"고 설명했다.
hjkim01@fnnews.com 김학재 기자
※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지