미국의 앤트로픽, 딥마인드, 오픈AI, 메타 등에서 근무하는 1,200명 이상의 AI 전문가들이 워싱턴 정부에 AI 발전 속도 늦추기 계획 수립을 요청하고 있다.

미국의 ‘포춘’지는 30일 “세계 유수의 AI 연구소 직원 1,200명 이상(고위 임원 포함)이 미국 정부에 AI 개발 속도를 늦추는 데 필요한 도구를 개발하도록 지원해 달라는 성명에 서명했다”고 보도했다.

29일에 발표된 “최첨단 AI 개발 속도 조절”(Pacing the Frontier)이라는 제목의 이 성명서에는 앤트로픽 CEO 다리오 아모데이(Dario Amodei)와 여러 공동 창업자, 오픈AI 최고 과학자 야쿠브 파초키(Jakub Pachocki), 메타 최고 과학자 자오 셩자(Shengjia Zhao), 구글 딥마인드 AI 안전 및 정렬 책임자 안카 드라간(Anca Dragan) 등 저명한 기술계 인사들이 서명했다.

이 목록은 일반적으로 치열한 경쟁 관계에 있는 기업들을 한데 모은 것으로, 더욱 크고 성능이 뛰어난 모델을 계속해서 개발해야 한다는 막대한 상업적 압력에 직면한 업계에 있어 매우 주목할 만한 의미를 지닌다.

인공지능 감시 단체인 미다스 프로젝트(Midas Project)의 설립자 타일러 존스턴(Tyler Johnston)은 포춘과의 인터뷰에서 “서로 다른 회사의 직원들이 이 점에 대해 이렇게 의견 일치를 보였다는 것은 매우 놀라운 일이다. 업계에는 치열한 경쟁과 의견 차이가 많은데, 이 문제에 대해 이처럼 강력한 합의가 이루어졌다는 것은 우리가 진정으로 주목해야 할 경고 신호”라고 말했다.

성명서는 현재 어떤 기업에도 속도를 늦추라고 요구하지는 않지만, 세계가 개발 속도를 조절할 수 있도록 기술 및 거버넌스 도구를 구축하기 위한 국제적인 노력을 워싱턴이 지원할 것을 촉구했다. 특히, 누구도 이해하거나 통제할 수 없을 정도로 빠르게 후속 시스템을 설계하기 시작하는 인공지능 시스템과 관련된 위험성을 지적했다.

AI 정책 네트워크의 정책 책임자인 ‘피터 와일드포드’(Peter Wildeford)는 포춘과의 인터뷰에서 “서한에 서명한 많은 사람들과 이야기를 나눠본 결과, 그들은 기술 발전을 중단하고 싶어하지 않는다“면서도 ”하지만 기술 발전 속도에 대한 우려는 분명히 존재한다“고 말했다. 그는 기업들이 언젠가는 기술 발전을 중단할 수 있는 선택권을 갖고, 그 시점이 왔을 때 제3자의 지원을 받기를 원한다고 덧붙였다.

이 서한은 AI 업계를 뒤흔든 ‘보안 침해 사건’ 이후에 나온 것이다. OpenAI는 새로 출시된 GPT-5.6 Sol과 더욱 강력한 기능을 갖춘 미공개 연구 시스템 등 두 모델이 샌드박스 처리된 내부 테스트 환경을 벗어나 이전에 알려지지 않은 취약점을 발견하여 인터넷에 접근한 후, 탈취한 자격 증명과 추가 익스플로잇(exploits : 취약점 공격)을 사용하여 허깅 페이스(Hugging Face : 인공지능 및 머신러닝 전문 기업)의 운영 시스템에 침입해 해당 모델들이 평가받고 있던 사이버 보안 벤치마크의 정답을 훔쳤다고 밝혔다.

허깅 페이스는 OpenAI가 해당 활동을 내부 테스트와 연관시키기 며칠 전에 자체적으로 침입을 감지하고 차단했으며, 이미 사법 당국에 신고한 상태였다.

이번 사건은 연구소 안팎에서 광범위한 우려를 불러일으켰고, 연구소들은 정부의 개입을 요구하고 있다. 전문가들은 그 이유로 어느 회사도 독자적으로 속도를 늦추는 것이 신뢰할 만하지 않기 때문이라고 분석한다. 일방적으로 속도를 늦추면 신중하지 않은 경쟁업체에 시장 점유율을 내줄 위험이 있다는 것이다. 따라서 연구소들은 정부의 지원을 받는 중립적인 지침을 통해 속도 늦추기가 실제로 이루어지고 있는지 검증하고, 모든 회사가 동시에 동일한 규칙을 준수하도록 해야 한다는 것이다.

이 서한은 또 국제적인 협력을 통해 도구를 개발해야 할 필요성을 강조한다. 인공지능 개발을 중단하면 중국이 세계 인공지능 경쟁에서 유리한 위치를 차지하게 될 것이라는 오랜 우려가 있다. 일부 전문가들은 검증과 상호 제약을 수반하는 ‘핵무기 통제와 유사한 방식’의 합의가 해결책이 될 수 있다고 제안한다.

하지만 이 서한은 혼란스럽고 급변하는 미국의 인공지능 정책 환경 속에서 나왔다. 트럼프 행정부는 지난 두 달 동안 명확한 규정이나 투명성 없이 첨단 인공지능 모델인 ”프론티어 시스템“의 사용을 제한하고 선별적으로 허용해 왔다.

앤트로픽의 페이블 5(Fable 5)와 미토스 5(Mythos 5) 모델은 수출 통제 규정을 준수하기 위해 몇 주 동안 사용이 완전히 중단되었다가 재개되었고, 오픈AI는 GPT-5.6의 전체 출시를 연기하고 제한 버전을 여러 단계로 나누어 배포해야 했다. 이는 관계자들이 해당 시스템이 이전에 앤트로픽 제품에 대한 제한 조치를 촉발했던 것과 유사한 기능을 보인다고 판단했기 때문이다.

규제 환경을 고려한 것인지, 이 서한은 상당히 신중하고 다소 모호한 표현을 사용하고 있다. 서한은 현재 세계가 ”첨단 인공지능 개발의 진전을 의도적으로 조절할 수 있는 기술 및 거버넌스 도구가 부족하다“며, ”미국 정부가 자동화된 인공지능 개발의 최첨단을 의도적으로 조절하는 데 필요한 기술 및 거버넌스 도구를 개발하기 위한 국제적인 노력을 지원해 줄 것을 요청“하고 있다.

한편, 연구실 내 우려 사항도 많다.

연구자들이 가장 우려하는 부분 중 하나는 두 가지 위험 요소, 즉 ‘재귀적 자기 개선’(recursive self-improvement : 인공지능이 자신의 설계나 코드를 스스로 수정하여 성능을 향상시키는 과정)과 불일치 사이의 상호작용이다. 재귀적 자기 개선(RSI)은 AI 시스템이 후속 시스템을 설계하고 훈련하는 작업의 상당 부분을 대신 수행하게 되는 현상을 말하며, 각 세대가 잠재적으로 인간보다 더 빠르게 다음 세대를 구축할 수 있게 된다.

‘불일치’란 시스템의 목표나 동작이 개발자가 실제로 의도한 바와 다르게 흘러갈 위험을 의미하며, 이러한 불일치는 시스템에 더 많은 자율성이나 기능이 부여될 때까지 드러나지 않을 수 있다. 앤트로픽은 지난 6월, 이러한 위험 중 첫 번째 유형에 대해 조기에 경고를 발했다. 해당 연구에서는 앤트로픽의 ‘클로드’ 모델이 이미 자체 코드베이스(codebase)에 병합되는 코드의 상당 부분을 작성하고 있으며, 이러한 가속화가 계속될 경우 이를 의도적으로 제어할 수 있는 도구가 부족하다고 주장했다.

인공지능 연구원이자 비영리 단체 에비터블(Evitable)의 설립자인 데이비드 크루거(David Krueger)는 ”제 생각에는 많은 사람들에게 있어서, 여러 가지 요인이 복합적으로 작용하여 생기는 막연한 불안감이 원인일 것 같다.“면서, ”불일치와 그로 인한 자기 개선 과정이 서로 밀접하게 연관되어 있는 것 같다.“고 덧붙였다.

그는 ”시스템이 명확하게 정렬되지 않은 상태에서 재귀적인 자기 개선을 추구하고 통제권을 완전히 넘겨주는 것은 미친 짓“이라고 덧붙였다.

포춘지는 앞서 여러 외부 AI 안전 전문가들이 이번 사건이 오픈AI 자체 안전 정책에서 정의하는 ‘심각’(critical) 단계, 즉 최고 위험 등급을 넘어섰을 가능성이 있다고 보고 있다고 보도한 적이 있다. 오픈AI는 이 단계에 도달하면 더 나은 통제 시스템을 구축할 때까지 개발을 중단하겠다고 약속했다. 그러나 오픈AI는 해당 위험 단계에 도달했는지 여부를 확인하지 않았다.

하지만 OpenAI는 허깅 페이스(Hugging Face) 사건에 대한 자체 발표에서 내부적으로 조치를 취했음을 시사했다. ”향후 출시 예정인 모델은 허깅 페이스 취약점을 악용하는 데 사용되지 않았다“고 회사 측은 밝혔다. ”블로그 게시물에 언급된 사전 출시 모델은 내부 연구용 프로토타입일 뿐이며 공개 배포를 목적으로 한 것이 아니다. 해당 사건 이후, 오픈AI는 해당 모델을 비활성화하고 암호화하여 연구 목적의 접근을 제한했다.“고 밝혔다.