세계의 인공지능 분야 최고 전문가들이 잠재적인 ‘지능 폭발’(Intelligence Explosion)에 대해 경고하며, 각국 정부에 대비를 촉구하고 나섰다.

이들은 AI 기술 발전이 자동화로 인해 가속화되면서 사회적, 경제적 위험이 증가할 수 있으며, 이에 대한 대비가 필요하다는 것이다. 특히, AI가 인간의 통제를 벗어나거나 국제적 갈등을 초래할 수 있는 가능성에 대한 우려가 제기되고 있다.

AI 발전은 사회적 혁신을 가져올 수 있지만, 통제 불능 상태와 국제적 갈등을 초래할 위험도 존재한 가운데, 특히 도널드 트럼프 미국 대통령은 ‘AI 개발 속도를 늦추지 않겠다’는 강고한 입장을 견지하면서 개발 속도에 가속을 붙이겠다는 야심을 숨기지 않고 있어, 인공지능 전문가 집단의 경고가 무색할 정도이다.

인공지능 분야의 저명한 전문가들은 예비 조사 결과, 인공지능이 현재 더 많은 인공지능 모델을 구축하는 데 중요한 역할을 하고 있으며, 이는 “인공지능 발전을 획기적으로 가속화할 수 있다”고 밝혔다.

인공지능 분야의 저명한 인사들이 28일(현지시간) 발표한 논문에서 인공지능 기술 발전 속도가 “지능 폭발”로 이어질 수 있는 지점까지 가속화되고 있다고 경고했다.

“저명한 학자, 첨단 AI 기업의 수석 과학자, 시민 사회의 독립 전문가”로 구성된 22명의 그룹은 영국 “케임브리지대 AI 과학·정책 프로그램(CASP)을 통해 발표한 공동 논문인 ”AI 연구 개발의 자동화가 지능 폭발을 촉발한다면?“(What if automating AI R&D triggers an intelligence explosion?)에서 각국 정부에 “역사상 가장 중대한 기술 발전”(most consequential technological development in history)이 될 수 있는 가능성에 대비할 것을 촉구했다.

이 논문에는 ‘AI 대부’로 불리는 제프리 힌턴 토론토대 명예교수, 요슈아 벤지오 몬트리올대 교수 등 학계 인사는 물론이고 야쿠프 파호츠키 오픈AI 수석 과학자, 잭 클라크 앤트로픽 공동 창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO), 던 송 메타 AI 연구 담당 부사장 등 주요 AI 기업의 현업 연구진이 함께 했다.

* 몇 년 안에 “AI의 완전 자동화”

이 보고서는 AI가 “AI 연구 개발을 빠르게 자동화하고 있다”고 지적하며, 앤트로픽(Anthropic)이 8월 말 자사 시스템이 고도의 감독만으로 내부 AI 연구 개발 작업의 25% 이상을 완료하고 있다고 발표한 사실을 상기시켰다. 이 수치는 5개월 전에는 1%에 불과했다.

이처럼 기술 발전이 빨라지면 수 개월짜리 복잡한 ‘AI R&D 프로젝트’ 전체가 2년 안에 완전 자동화할 수 있고, AI의 재귀적 자기 개선(RSI) 고리가 완성되면 폭발적인 기술 가속이 일어날 수 있다고 내다봤다.

오픈AI(OpenAI) 또한 자사 시스템이 이러한 작업을 일상적으로 수행한다고 보고했다. 보고서는 “벤치마크 추세 및 기타 증거를 바탕으로 일부 전문가들은 AI 연구 개발이 향후 몇 년 안에 완전히 자동화될 수 있다고 생각한다”고 덧붙였다.

* AI 완전 자동화는 ‘지능 폭발’로 인한 인류 소멸‘로 이어져

이러한 시나리오는 “지능 폭발”로 이어져 수년간의 AI 발전이 몇 달 또는 그 이하의 기간으로 압축될 수 있다. 이를 통해 최첨단 기술 개발이 기하급수적으로 확장되고, 피드백 루프를 통해 “연구 노동의 수확 체감이나 자동화하기 어려운 작업과 같은 마찰 요소를 극복”할 수 있다.

‘지능의 폭발적인’ 성장은 이점도 가져오지만 위험도 내포하고 있다.

첫 번째 이점은 “사회 여러 분야를 혁신하고 과학 및 산업에 전례 없는 혁신을 가져올 수 있는 초지능 AI 시스템을 빠르게 구현할 수 있다는 것”을 의미한다. 하지만 동시에 인공지능으로 인한 팬데믹(Pandemic), 중요 기반 시설(infrastructure)에 대한 사이버 공격, 대규모 노동 분쟁과 같은 위험은 사회가 이에 적응하기보다 훨씬 빠르게 발생할 수 있다.

해당 논문은 “인간이 자동화된 AI 연구 개발에 대한 감독 권한이 거의 또는 전혀 없을 수 있으며, 이로 인해 초지능(SI=super intelligence) 시스템이 인간의 통제에서 돌이킬 수 없이 벗어나 인류를 소외시키는 방향으로 나아갈 위험이 있다”고 경고했다.

보고서는 “궁극적으로, 인공지능 기술의 폭발적인 발전은 미미한 수준의 인공지능 역량 우위를 결정적인 우위로 전환시킬 수 있다. 결정적인 우위가 나타날 가능성만으로도 국제적 갈등을 야기할 수 있으며, 실제로 그러한 우위가 발생할 경우 국가, 기업, 정부 부처 간 그리고 국가 내부 및 부처 간의 견제와 균형 장치가 심각하게 약화될 수 있다.”고 지적했다.

따라서 이 보고서는 정책 입안자들이 AI 연구 개발 자동화에 대한 가시성을 확보하고, “지능 폭발을 제어하고 제한하는 방법”을 개발하며, “지능 폭발의 영향에 대비하는 사회를 준비”할 것을 촉구했다.

그러나 미국 정책 입안자들은 현재 인공지능(AI) 개발 속도를 늦출 의도가 없어 보인다. 블랑쉬(Blanche) 법무장관은 27일 인터뷰에서 “트럼프 행정부는 새로운 AI 규제가 필요하지 않으며, 미국이 AI 강국으로서의 지위를 유지하는 데 집중해야 한다”고 말했다.

그는 이어 “우리는 수십 년 동안 AI 분야를 비롯한 신기술 분야에서 악의적인 행위자들을 기소해 왔다. 하지만, 미국은 이 기술 분야에서 선두 주자가 되어야 한다. 2위나 3위로 떨어져서는 안 된다.”고 주장하고 있다.

블랑쉬는 폭스 뉴스와의 인터뷰에서 “그렇다면 악의적인 행위자들이 처벌받도록 하려면 어떻게 해야 할까? 이미 이를 해결할 수 있는 수많은 형법이 있다.”고 말했다.