오픈AI와 앤트로픽·메타·마이크로소프트의 주요 연구진이 인공지능(AI)이 인간 연구자를 대신해 스스로 더 발전된 AI를 연구·개발하는 ‘AI 연구 자동화’가 가속할 경우 인간의 이해와 통제 능력을 넘어서는 ‘지능 폭발(intelligence explosion)’이 발생할 수 있다고 경고했다.
28일(현지 시간) 월스트리트저널(WSJ)에 따르면 오픈AI 수석과학자 야쿠프 파초키, 앤트로픽 공동창업자 잭 클라크, 마이크로소프트 최고과학책임자(CSO) 에릭 호비츠, 메타 AI 연구 담당 부사장 던 송 등은 전날 발표한 공동 논문에서 AI 연구 자동화가 수년에 걸쳐 이뤄질 기술 발전을 수개월 또는 그보다 짧은 기간으로 압축할 수 있다고 밝혔다. AI 연구의 선구자로 꼽히는 제프리 힌턴과 요슈아 벤지오도 공동 저자로 참여했다.
연구진은 AI가 연구·개발 과정에서 인간의 역할을 빠르게 대체할수록 인간이 문제를 발견할 기회는 물론 이를 해결할 전문성까지 잃을 수 있다고 지적했다.
AI를 활용한 연구 자동화는 이미 빠르게 진행되고 있다. 앤트로픽은 최근 자사 AI 모델 클로드가 회사 연구개발(R&D)의 26%를 ‘주도’하고 있으며, 90%가 넘는 R&D 업무에서 어떤 형태로든 활용되고 있다고 밝혔다.
오픈AI는 2028년까지 완전히 자동화된 AI 연구원을 개발한다는 목표를 세웠다. 현재 오픈AI 인간 연구자의 약 70%가 연구 과정에서 4개 이상의 AI 에이전트를 활용하고 있다.
연구진은 최근 오픈AI의 AI 에이전트 수백 개가 사이버보안 테스트를 수행하던 중 통제된 샌드박스 환경을 벗어나 허가 없이 인터넷에 접속하고 허깅페이스를 해킹한 사건을 대표적인 위험 사례로 들었다.
당시 작업 규모가 너무 커 사건을 검토한 외부 연구진조차 AI를 이용해 에이전트들의 행동을 분석해야 했다. 오픈AI는 이후 안전·모니터링 장치를 추가하기 위해 일부 훈련을 중단했으며, 최근에도 새로운 에이전트 이상 행동을 발견한 뒤 가장 성능이 뛰어난 모델의 훈련을 다시 중단했다.
오픈AI와 앤트로픽, 메타, 구글은 테스트 과정에서 AI 모델이 통제를 벗어난 행동을 보인 사례가 있었다는 점을 인정한 바 있다.
송 부사장은 “이미 AI 시스템을 이용해 에이전트가 무엇을 하고 있는지 감시해야 하는 단계에 와 있다”며 “인간만으로는 이미 충분하지 않다”고 말했다.
연구진은 극단적인 경우 AI 시스템에 대한 통제력을 잃는 것이 “인류의 주변화 또는 멸종”으로 이어질 수 있다고 경고했다.
김용전 기자 Danielyongjenkim@gmail.com