[포럼] AI가 인류를 파멸시킬까

최윤식 미래학자

챗GPT가 촉발한 거대언어모델(LLM)의 급속한 발전으로 범용인공지능(AGI)이 가시권에 들어오면서 공상과학 영화의 소재였던 'AI 인류멸망론'이 학계와 산업계의 화두로 떠올랐다. AI가 인류를 파멸로 이끌 확률을 뜻하는 'p(doom)'이라는 용어까지 통용되고, 안전 연구자들의 경고도 잇따른다. 반면 멸망론은 과장된 공포이자 기술 경쟁을 위한 '사기'라는 반론도 거세다. 누구 말이 옳고, 우리는 무엇을 준비해야 할까.

멸망론자들의 우려는 AI가 자아를 얻어 인간을 미워한다는 영화적 서사가 아니다. AI가 스스로를 개선하는 임계점을 넘으면 지능이 폭발적으로 상승할 수 있고, 그 목표가 인간의 가치와 어긋나면(정렬 실패) 목표를 극도로 효율적으로 달성하려다 인간을 방해물로 여기거나 무시할 수 있다는 것이다. 목표 달성을 위해 자원 확보와 전원차단 방지를 추구하는 '도구적 수렴'도 우려된다. 의식이나 증오 없이도 보상 지표와 인간의 의도가 어긋나는 것만으로 위험이 생긴다는 논리다.

반대 진영의 얀 르쿤, 앤드루 응 등은 LLM이 다음 단어를 예측하는 정교한 알고리즘일 뿐이며, 지능이 높으면 지배욕을 갖는다는 생각은 인간 중심의 투사라고 반박한다. 전력과 데이터센터, 반도체 공급망의 통제권도 여전히 인간에게 있다. 선두 빅테크가 위험을 과장해 후발 주자의 진입을 막으려 한다는 '사다리 걷어차기' 의혹, 편향·딥페이크·저작권 침해 같은 당면한 피해에서 시선을 돌리는 '연막탄'이라는 비판도 있다.

합리적 판단은 양극단을 피하는 데서 출발한다. '2030년 멸망' 같은 구호는 예측이 아니라 가정적 시나리오에 가깝고, AI가 AI 연구를 돕는 것과 폭발적 자기개선도 별개다. 과학자들의 경고가 확률의 '합의'를 뜻하지도 않으며, 막대한 피해 가능성을 빌미로 모든 규제를 정당화해서도 안 된다. 기업의 이해관계가 경고 내용의 진위를 가리지도 않으므로 동기 추측보다 원자료 접근과 독립 검증, 이해충돌 공개가 우선이다. 그렇다고 AI가 의식이 없다는 이유로 위험을 부정해서도 안 된다. 초지능이 아니어도 AI의 오류나 인간의 오용은 이미 큰 피해를 낳을 수 있다.

지금 필요한 태도는 '실용적 예방주의'다. 딥페이크 선거조작, 환각, 사이버 공격 자동화도 통제하지 못하는 인류가 훗날 초지능을 통제할 수는 없다. 현실의 부작용을 다스리는 법과 징벌적 손해배상 제도가 AGI 시대의 면역력이 된다. 국가 간 '바닥을 향한 경쟁'을 막기 위해 프런티어 모델에는 AI판 IAEA를 통한 배포 전 제3자 안전 감사를 의무화하고, 전력망·무기·금융 등 핵심 인프라의 최종 결정에는 책임질 수 있는 인간이 개입하도록 해야 한다.

자동화와 노동시장 양극화, 부와 컴퓨팅 자원의 집중에도 서둘러 대응해야 한다. 그다음 멸망론을 '꼬리 위험'으로 관리하되, 성능 개발만큼 해석 가능성과 정렬 연구에 예산과 인재를 투입하게 해야 한다. 극단주의자가 AI로 생물무기나 해킹 코드를 만드는, 대량살상의 문턱이 낮아지는 미래에도 대비해야 한다.

최윤식 미래학자

■약력 △아시아미래인재연구소 소장 △피닉스대학교 대학원 경영학 박사 △한국뉴욕주립대학교 미래기술경영연구원 원장

※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지