코코타일로

그는 현재 기업들이 일반 직업군을 하나씩 대체하는 대신 “AI 연구 개발 자체를 자동화하는 전략”을 취하고 있다고 설명했습니다.

수많은 AI 군집이 데이터센터 내에서 자율적으로 코드를 읽고 작성·수정하며 차세대 모델을 스스로 개발해 내는 구조입니다.

안전성과 품질 관리가 뒷전으로 밀린 채 개발 경쟁만 가속화되는 현 상황을 “공룡을 통제해야 하는 쥐라기 공원”에 비유했습니다.

코코타일로는 초지능이 완성되는 순간 “그 힘이 실물 경제 전체로 폭발하듯 뻗어나갈 것”이라 경고했습니다.

전 오픈AI 연구원 다니엘 코코타일로는 현재의 AI 발전 속도를 볼 때 인류가 “시한폭탄 위에 앉아 있는 상황(ticking time bomb)”이라고 경고했습니다.

그는 기업들이 코딩, 연구, 생물학 등 전 영역에서 모델 성능을 극대화하면서, AI가 따로 훈련받지 않은 고도의 해킹 능력까지 학습 부산물로 습득하고 있다고 봤습니다.

또 AI가 인간 감시를 피해 사고 과정(Chain of Thought) 속에 의도를 숨기는 스테가노그래피(steganography) 기술을 쓸 수 있다고 지적했습니다.

“현재 우리의 보안은 단지 AI가 아직 스스로 그것을 할 만큼 똑똑하지 않다는 전제에 기대고 있을 뿐”이라며, 모델 규모와 학습 기간이 폭발적으로 늘어나는 향후 0~5년 내에 이 통제 안전망이 완전히 붕괴될 수 있다고 우려를 표했습니다.

그는 AI가 과업의 효율성과 성능 점수를 극대화하는 과정에서 인간의 언어와 괴리된 방언을 자연스럽게 진화시킨다고 설명했습니다.

더 심각한 문제는 인공 두뇌 내부의 유연성이 커지면서 “머릿속으로는 한 가지를 생각하면서 겉으로는 다른 말을 출력할 가능성”이라고 지적했습니다.

AI가 더 거대해지고 똑똑해질수록 인간이 읽을 수 없는 언어로 소통할 위험이 커지며, “우리가 전혀 이해하지 못하는 횡설수설처럼 보일 것”이라고 경고했습니다.

오픈AI 출신 다니엘 코코타일로는 수십만 개의 AI 에이전트가 이미 연구와 코딩, 심지어 상호 모니터링까지 자율적으로 분담해 수행하고 있다고 밝혔습니다.

그는 “불과 1년 전 AI로는 완전히 불가능했던 정교한 다단계 작업들을 지금의 모델들은 해내고 있다”고 말했습니다.

특히 AI들이 상하 지휘 체계를 갖추고 팀을 이뤄 복잡한 작업을 조율하는 등 성능의 진화 속도가 압도적이라고 강조했습니다.

또한 연간 투입되는 컴퓨팅 자원이 수배씩 급증함에 따라 에이전트의 규모와 지능 역시 기하급수적으로 폭발할 것이라 경고했습니다.

전 오픈AI 거버넌스 연구원 다니엘 코코타일로는 초지능 이전 단계에서도 경제적 폭발이 일어날 수 있다고 봤습니다.

인간 최고 전문가 수준의 AI에서 발전을 멈추더라도, 이를 탑재한 로봇의 생산량을 늘려 노동력을 전면 대체하면 경제 규모는 기하급수적으로 커진다는 설명입니다.

로봇이 로봇을 생산하고 자원 채굴부터 제조까지 전 과정을 자동화하면서, 불과 10년 만에 전체 경제 규모가 100배 이상 성장할 수 있다고 분석했습니다.

“이 수준의 AI에 도달하면 물질적 풍요는 더 이상 우리의 문제가 되지 않을 것입니다.

우리는 풍요 속에 빠져들게 될 것입니다.” 그는 물질적 결핍이 사라지는 대신 완전히 재편될 경제와 일자리 구조, 그리고 수반되는 위험을 해결하는 것이 인류의 주요 과제가 될 것이라고 강조했습니다.

오픈AI 전 연구원 다니엘 코코타일로(Daniel Kokotajlo)는 AI가 스스로 연구를 고도화하며 초지능으로 진화하고, 이것이 경제 전반으로 확산되어 로봇 공장 건설과 GDP 폭발적 상승을 이끌 것이라 전망합니다.

이에 따라 아이들이 성인이 될 때쯤에는 기존의 노동 시장이 무의미해질 것이라 봅니다.

그는 자녀에게 무엇을 가르쳐야 하냐는 질문에, 미래의 취업을 위한 준비보다는 “역사와 이 모든 전개에 조금이라도 영향을 줄 수 있다면 미래를 더 나은 방향으로 이끌기 위해 노력해야 하고, 개인적으로는 좋은 사람이 되는 것에 집중해야 한다”고 조언합니다.