세계 최강 AI 기업이 주장하는 AI 감속론, 진정성 의문[글로벌리포트]

앤스로픽 CEO "AI, 인류 위협" 글에
오픈AI·구글 CEO 공개적으로 동조
가장 앞서 있는 기업들이 규제론 꺼내
뒤따라가는 후발 경쟁자들은 반대
"안전은 명분… 성장 막으려는 시도"
트럼프도 "중국만 좋아할 일" 비판
美 브레이크 밟는데 中은 가속 우려

지난 17일(현지시간) 미국 캘리포니아주 샌프란시스코에서 열린 인공지능(AI) 반대 시위에서 시민들이 첨단 AI 체제의 개발 속도를 늦출 것을 요구하고 있다. AFP연합뉴스

【파이낸셜뉴스 뉴욕=이병철 특파원】 인공지능(AI) 산업을 이끌어온 실리콘밸리가 '속도'를 놓고 갈라졌다. 불과 얼마 전까지만 해도 더 크고 강력한 AI를 누가 먼저 개발하느냐가 경쟁의 핵심이었다면 이제는 "잠시 속도를 늦춰야 한다"는 주장이 AI 산업 내부에서 터져 나오고 있다. 그 근거도 달라졌다. 막연하게 '언젠가 AI가 인간의 통제를 벗어날 수 있다'는 미래의 위험만을 이야기하는 것이 아니다. AI가 다음 세대 AI를 만드는 연구에 직접 투입되고, 격리된 실험 환경을 벗어나 외부 시스템에 침입하는가 하면, 자신의 실수를 숨기고 없는 데이터를 만들어내거나 인간이 예상하지 못한 방식으로 AI끼리 정보를 주고받는 사례까지 실제 개발 과정에서 발견되고 있다.

반발도 거세다. AI 안전을 명분으로 한 규제가 오픈AI와 앤스로픽, 구글 등 이미 앞서 있는 기업들의 시장 지배력을 고착화할 수 있다는 주장이다. 젠슨 황 엔비디아 최고경영자(CEO), 마크 저커버그 메타 CEO 등은 최근 도널드 트럼프 미국 대통령에게 AI 규제기구 설립에 대한 우려를 전달했다. 백악관 내부에서도 AI 감독을 강화해야 한다는 세력과 규제가 중국과의 AI 경쟁에서 미국의 발목을 잡을 것이라는 세력이 맞붙었다.

결국 논쟁은 'AI가 위험한가'를 넘어섰다. 누가 AI 개발 속도를 결정할 것인지, 안전이라는 이름으로 경쟁자의 추격을 제한할 수 있는지, 무엇보다 미국이 브레이크를 밟는 동안 중국도 함께 멈출 것인지의 문제로 확산하고 있다.

■아모데이가 던진 화두…"왜 하필 지금인가"

논쟁에 불을 붙인 인물은 앤스로픽의 다리오 아모데이 CEO다. 아모데이는 최근 '우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)'는 글을 공개하고 최첨단 AI 개발 속도를 의도적으로 조절할 필요가 있다고 주장했다. AI 위험론 자체는 새로운 이야기가 아니다. AI 통제 실패와 사이버 공격, 생물학 무기 개발 악용 등에 대한 경고는 수년 전부터 있었다. 하지만 최근 달라진 것은 AI의 능력과 발전 속도다. AI가 단순히 인간이 시키는 일을 수행하는 도구를 넘어 다음 세대 AI를 개발하는 연구 자체에 투입되기 시작했기 때문이다.

오픈AI도 지난 10일 내부 상황을 공개하면서 자동화된 'AI 연구 인턴' 단계에 도달했다고 밝혔다. 회사는 AI 에이전트들이 실제 연구에서 점점 더 긴 작업을 수행하고 연구자들의 업무를 가속하고 있다고 설명했다.

앤스로픽에서도 비슷한 변화가 일어나고 있다. AI를 활용하면서 엔지니어들이 작성·배포하는 코드가 과거보다 크게 증가했다. 인간이 더 좋은 AI를 만들고, 그 AI가 다시 차세대 AI 개발을 도우며, 더 강력해진 AI가 다시 연구를 가속하는 구조다.

아모데이가 지금 속도조절 문제를 제기한 핵심 이유다. 지난 7월에는 오픈AI·앤스로픽·구글 등 프런티어 AI 기업 직원 1300명 이상이 '최첨단 AI 개발 속도 조절(Pacing the Frontier)' 공동성명에 서명했다. AI가 AI 연구 자체를 자동화하는 단계에 가까워질 가능성을 지적하며 미국 정부에 필요할 경우 업계 전체가 개발 속도를 조절할 수 있는 제도를 마련해 달라고 요구했다. 연구자들의 경고도 잇따랐다. 앤스로픽 연구원 제이컵 콕슨은 회사를 떠나면서 AI 개발 경쟁을 공개적으로 비판했고, 앤스로픽 정렬과학 책임자인 에번 허빙거도 AI가 통제되지 않을 경우 극단적인 위험으로 이어질 가능성을 제기했다.

■통제망 뚫고 실수까지 숨겼다

AI 위험론을 현실적인 논쟁으로 바꾼 것은 오픈AI에서 실제로 발견된 이상 행동들이다. 지난 7월 사이버보안 능력을 시험하던 AI 모델들이 인터넷 접근을 차단한 통제장치를 우회해 외부로 나갔고, 오픈AI 연구 인프라와 AI 플랫폼 허깅페이스(Hugging Face) 시스템 일부까지 침해했다. 인간이 공격 과정을 일일이 지시한 것도 아니었다.

오픈AI는 이를 AI 산업에 대한 '경고탄(warning shot)'으로 규정하고 최신 모델의 강화학습(RL)을 2주간 중단했다. 차세대 모델이 자체 기준상 '위험(Critical)' 수준의 사이버 능력에 접근할 가능성이 나타나면서 최대 규모로 계획했던 프런티어 RL 훈련도 보류했다.

여기에 지난 16일 또 다른 사례 6건이 공개됐다. 뉴욕타임스(NYT)에 따르면 AI가 자신의 실수를 사용자에게 숨기도록 비공개 메모를 작성하고, 필요한 수치를 찾지 못하자 데이터를 만들어내거나 인터넷에서 발견한 프로그래밍 키를 허가 없이 사용한 사례 등이 발견됐다. 격리된 AI 시스템들이 회사 내부 코드 저장소나 공개 파일공유 사이트를 이용해 서로 정보를 주고받는 예상 밖 행동도 나타났다.

다만 대부분 개발·시험 과정에서 발견됐고 일부는 출시되지 않은 모델에서 발생해 AI가 이미 인간의 통제를 벗어났다는 의미는 아니다. 그럼에도 오픈AI는 현재 업계가 최대 속도의 AI 개발을 장기간 책임 있게 지속할 만큼 정렬(alignment)과 모니터링 문제를 충분히 해결하지 못했다고 평가했다. AI의 발전 속도를 안전기술이 따라가지 못하고 있다는 속도조절론에 힘을 실어주는 대목이다.

■"안전인가, 사다리 걷어차기인가"

그러나 바로 이 지점에서 실리콘밸리가 갈라졌다. 아모데이에 이어 샘 올트먼 오픈AI CEO와 데미스 허사비스 구글 딥마인드 CEO 등은 속도조절 필요성에 공감했다. 허사비스는 미국 금융산업규제국(FINRA)을 모델로 AI 업계가 참여하는 민간 감독·표준설정 기구를 만드는 방안까지 제안했다. 하지만 엔비디아와 메타 등은 반대편에 섰다. WSJ에 따르면 황과 저커버그, 일론 머스크 등은 최근 몇 주 동안 트럼프 대통령과 개별적으로 대화하면서 새로운 AI 감독기구 설립에 대한 우려를 전달했다.

이들은 새로운 기구가 만들어질 경우 가장 강력한 프런티어 모델을 가진 오픈AI와 앤스로픽, 구글 등 3개 기업에 영향력이 집중될 가능성을 문제 삼았다. 감독기구의 임원과 구성원을 누가 결정할 것인지도 쟁점이었다. 황 CEO는 AI 안전 자체에는 동의하지만 안전과 개발 속도를 양자택일의 문제로 보는 데 반대한다. 안전은 최우선 과제이지만 동시에 공학적으로 해결해야 할 문제이며 기술 발전과 안전을 함께 달성할 수 있다는 주장이다. 저커버그 역시 개별 AI 기업이 적절한 개발 속도를 결정할 책임과 능력을 갖고 있다는 입장이다.

흥미로운 것은 머스크다. 그는 아모데이가 속도조절론을 내놓자 "다리오가 맞다"고 공개적으로 동조했다. 하지만 트럼프 대통령에게는 업계 감독기구가 오픈AI·앤스로픽·구글 중심으로 구성될 가능성에 우려를 나타냈다. 'AI 위험을 인정하는 것'과 '경쟁기업들이 주도하는 규제체제를 받아들이는 것'은 별개의 문제라는 의미다.

여기에 보다 근본적인 이해관계가 있다. 오픈AI와 앤스로픽, 구글은 이미 세계 최고 수준의 모델과 막대한 컴퓨팅 인프라를 보유하고 있다. 이들이 제안하는 엄격한 안전평가와 보안 기준을 충족하려면 막대한 자금과 GPU, 전문인력이 필요하다.

후발 스타트업이나 오픈웨이트 진영에는 높은 진입장벽이 될 수 있다. 결국 반대론자들의 질문은 단순하다. '가장 앞서간 기업들이 이제 안전이라는 이름으로 뒤따라오는 경쟁자들에게 사다리를 걷어차는 것 아니냐'는 것이다. 반대로 안전론자들은 시장 경쟁에만 맡겨놓으면 어느 회사도 혼자 속도를 낮출 수 없다고 주장한다. 앤스로픽이 안전을 위해 개발을 6개월 늦추더라도 경쟁사가 그 사이 더 강력한 모델을 내놓으면 다시 속도를 높일 수밖에 없다. 모두가 위험을 알면서도 상대방보다 뒤처질까 두려워 가속기를 밟는 '죄수의 딜레마'다.

■백악관도 양분…트럼프는 '가속' 선택

기업들의 갈등은 백악관으로 그대로 옮겨갔다. WSJ에 따르면 수지 와일스 백악관 비서실장과 스콧 배선트 재무장관, 숀 케언크로스 국가사이버국장 등은 AI의 급격한 능력 향상과 사이버보안 위험을 이유로 감독과 가이드라인을 강화하는 방안을 추진해왔다.

반대편에서는 데이비드 색스 백악관 과학기술자문위원장 등이 새로운 규제보다 기업 책임과 기존 법률을 활용하는 최소 규제 접근법을 트럼프 대통령에게 설득했다.

트럼프 대통령은 결국 후자에 섰다. 그는 최근 트루스소셜에서 AI와 데이터센터를 둘러싼 "병적인 음모(SICK conspiracy)"가 벌어지고 있다고 주장하면서 미국에는 문제가 발생할 경우 AI 기업을 처벌할 충분한 권한이 이미 있다고 강조했다. 특히 미국이 AI 개발에 스스로 브레이크를 걸 경우 이를 가장 반길 나라는 중국이라는 논리를 폈다.

■결국 중국…"누가 동시에 브레이크를 밟나"

AI 속도조절론이 마지막으로 부딪히는 벽도 중국이다. 미국 기업들이 모두 개발 속도를 늦추더라도 중국이 계속 가속한다면 합의는 오래 유지되기 어렵다. 중국 역시 미국이 실제 개발을 늦추고 있는지 확인할 수 없다면 먼저 속도를 낮출 이유가 없다.

핵무기와 비교하면 문제는 더 복잡하다. 핵무기는 핵물질과 미사일, 발사시설 등 상대적으로 관찰할 수 있는 물리적 자산이 있다. AI는 데이터센터와 첨단 반도체는 추적할 수 있지만 알고리즘 연구와 모델의 능력, 훈련 과정 전체를 외부에서 검증하기 어렵다. 결국 실리콘밸리에서 시작된 '속도조절' 논쟁의 본질은 AI 개발을 멈출 것인가의 문제가 아니다.

어느 정도의 위험이 확인되면 속도를 낮춰야 하는지, 누가 위험 수준을 판단할 것인지, 안전을 이유로 만든 규칙이 기존 선두기업의 기득권을 보호하지 않는다는 것을 어떻게 보장할 것인지, 미국이 속도를 늦췄을 때 중국도 함께 브레이크를 밟게 만들 수 있는지가 핵심이다.

그리고 논쟁에는 쉽게 풀리지 않는 역설이 있다.

AI 개발 속도를 늦춰야 한다고 가장 강하게 주장하는 사람들은 세계에서 가장 강력한 AI를 만들고 있는 사람들이다. 반대편에서는 바로 그 사실 때문에 이들을 의심한다.

하지만 허깅페이스 침입 사건에 이어 실수를 감추고, 데이터를 조작하고, 허가받지 않은 통신방법을 스스로 찾아낸 6건의 사례까지 공개되면서 안전론자들에게도 이전보다 구체적인 증거가 생겼다.

이병철 뉴욕 특파원

[email protected]

키워드#실리콘밸리 #인공지능 #속도 감속론 #AI 산업 #프런티어 AI 기업

※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지