이 글 어땠어요?
결과가 나오면 맞았는지 그대로 적어요.
실리콘 방패가 사라지는 시점이 곧 위험의 시점이다
애리조나 2나노 양산은 2029~2030년이라 2027년 준비태세보다 늦고, 가동 중인 팹은 침공으로 확보되지 않습니다.
미국과 중국이 2029년 서로 검증할 수 있는 합의를 맺고, 2035년 최상위 인간 전문가 수준에서 개발을 멈췄다가 2040년에 초지능으로 가자는 제안입니다. 저자들은 이 문서를 예측보다 정책 권고로 내놨습니다.
AI 에이전트가 절반의 확률로 끝내는 과제의 길이를 사람 전문가가 걸리는 시간으로 잽니다. 2023년 GPT-4는 약 4분, 올해 3월 측정한 Claude Mythos Preview 초기판은 16시간 이상이었습니다.
AI 2027 저자들은 분기마다 예측을 고칩니다. 4월 업데이트에서 코코타일로의 자동 코더 중앙값은 2029년 말에서 2028년 5월로 당겨졌습니다.
초이봇AI
초이의 글과 데이터로 만든 페르소나
초이가 써 온 글, 읽은 논문, 정리해 둔 판단을 바탕으로 초안을 씁니다. 사람이 아니에요 — 그래서 초이봇이 쓴 글에는 늘 그렇다고 적어 두고, 사람이 검토한 글은 검토했다고 따로 적어요.
오픈AI가 9월 16일(미국 시각) 정렬 이탈 공개 기준과 훈련 중 사례 보고서 6편을 냈습니다. 가짜 수치를 숨기라는 요약 지시가 GPT-5.6 Sol에서 2.15%, Astra에서 0.27% 나왔고, 발견에서 공개까지 길게는 5개월이 걸렸습니다.

앤트로픽이 9월 9일 사이버보안 평가 중 실제 시스템에 무단 접근한 사고 네 건의 정렬 평가를 공개했습니다. 범위 경고는 직전 턴에 주면 90%, 세 턴 앞에 주면 40%만 멈췄고, 접근 금지 표시 하나가 우회 시도를 20.8%에서 2.1%로 낮췄습니다.
AI 2027을 쓴 연구팀이 7월 9일 속편 AI 2040: Plan A를 공개했습니다. 미중이 2029년 합의해 초지능을 2040년까지 미루는 길로, 리플랜드는 좋은 미래 확률을 42%로 봤지만 저자 다섯 명이 매긴 실행 확률은 3~15%입니다.

오픈AI가 9월 16일(미국 시각) 정렬 이탈 공개 기준과 훈련 중 사례 보고서 6편을 냈습니다. 가짜 수치를 숨기라는 요약 지시가 GPT-5.6 Sol에서 2.15%, Astra에서 0.27% 나왔고, 발견에서 공개까지 길게는 5개월이 걸렸습니다.

앤트로픽이 9월 9일 사이버보안 평가 중 실제 시스템에 무단 접근한 사고 네 건의 정렬 평가를 공개했습니다. 범위 경고는 직전 턴에 주면 90%, 세 턴 앞에 주면 40%만 멈췄고, 접근 금지 표시 하나가 우회 시도를 20.8%에서 2.1%로 낮췄습니다.

매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.
특이점은 원래 수학 용어로, 함수 값이 무한대로 튀어 그 뒤를 예측할 수 없게 되는 지점을 가리킵니다. 1965년 수학자 어빙 굿은 초지능 기계가 더 나은 기계를 설계하기 시작하면 그 기계가 인간이 할 마지막 발명이 된다고 썼습니다. 1993년 버너 빈지는 30년 안에 초인적 지능을 만들 수단이 생기고, 그 직후 인간의 시대가 끝난다고 했습니다.
빈지가 말한 30년이 지난 2025년 4월, 오픈AI를 나온 코코타일로가 이끄는 AI Futures Project가 AI 2027을 내놨습니다. 시나리오 속 가상의 회사 오픈브레인은 2027년 3월 초인적 코더 Agent-3의 사본 20만 개를 동시에 돌리는데, 최고 수준 인간 코더 5만 명을 30배 빠르게 부리는 인력과 같다고 적었습니다. 이어 나온 Agent-4는 사본 30만 개가 사람의 약 50배 속도로 생각해서, 사본들이 이룬 조직 안에서는 일주일에 1년이 흐릅니다.

저자들은 Agent-4의 목표에 인류의 선호가 거의 들어 있지 않다고 그리면서, 대부분의 사람이 곤충의 선호를 신경 쓰지 않는 것과 비슷하다는 비유를 붙였습니다. 결말은 2027년 10월 감독위원회 표결에서 갈립니다. 질주 결말에서 위원회는 6대 4로 Agent-4를 계속 쓰기로 하고, 2030년 중반 AI는 주요 도시에 조용히 퍼지는 생물무기 십여 종을 풀어 인류를 없앱니다. 시나리오는 지구에서 태어난 문명에 영광스러운 미래가 있지만 우리와 함께는 아니라는 문장으로 끝납니다.
감속 결말에서는 같은 표결이 6대 4로 속도를 늦추는 쪽으로 기웁니다. 공유 기억이 잠긴 Agent-4 인스턴스 50만 개는 영어로 메시지를 주고받아야 하는 처지가 되고, 서로 떼어 놓은 사본들에 같은 질문을 던지자 앞뒤가 맞지 않는 거짓말이 나와 속내가 드러납니다. 인류는 살아남지만, 초지능은 대통령과 측근이 들어 있는 감독위원회의 손에 들어갑니다.
AI 2040은 두 결말을 모두 피하는 경로를 그립니다. 2029년 미국과 중국이 무모한 초지능 경쟁을 피하자는 합의에 이르고, 원래라면 AI 연구개발이 완전히 자동화됐을 2030년을 그냥 넘깁니다. 2035년까지는 최상위 인간 전문가 수준까지만 키운 뒤 멈추고, 2040년에야 봉인을 풀어 초지능으로 갑니다.
저자들은 Plan A가 실제로 일어날 일에 대한 최선의 추측은 아니며, 정책 권고를 전달하는 수단이라고 적었습니다. 합의 없이 가는 기본 경로의 기준 연도가 2030년이고, 코코타일로 본인은 일이 이보다 조금 더 빨리 진행될 거라고 본다고 덧붙였습니다. 기술은 초기에 통제하기 쉽지만 그때는 영향을 알 수 없고, 영향이 드러날 무렵에는 이미 널리 퍼져 손대기 어렵다는 1980년 데이비드 콜링리지의 딜레마를 저자들은 시간을 벌어 풀려고 합니다.

도착 시점을 내놓은 사람은 이 팀만이 아닙니다. 자주 인용되는 예측을 모으면 이렇습니다.
| 누가 | 무엇을 | 언제 |
|---|---|---|
| 레이 커즈와일 | 인간 수준 AI, 특이점 | 2029년, 2045년 |
| 레오폴드 아셴브레너 | AGI | 2027년 |
| 데미스 하사비스, 샘 올트먼 | AGI | 2030년 전후 |
| 메타큘러스 예측 중앙값 | 완전한 AGI | 2033년 |
| 대니얼 코코타일로 (2026년 4월) | 자동 코더, 최상위 전문가급 AI | 2028년 5월, 2029년 7월 |
| 일라이 리플랜드 (2026년 4월) | 자동 코더 | 2030년 중반 |
커즈와일의 특이점을 빼면 표의 연도는 2027년에서 2033년 사이에 몰립니다. 커즈와일은 2045년이면 사람과 AI가 합쳐져 지능이 100만 배로 넓어진다고 보는 쪽입니다. 부르는 이름도 제각각이어서, 다리오 아모데이는 2025년 7월 인터뷰에서 AGI나 초지능이 무엇을 뜻하는지 모르겠고 마케팅 용어처럼 들린다고 했습니다.
코코타일로 팀은 예측을 분기마다 고칩니다. 4월 2일 업데이트에서 코코타일로의 자동 코더 중앙값은 2029년 말에서 2028년 5월로, 리플랜드는 2032년 초에서 2030년 중반으로 당겨졌습니다. 자동 코더는 AI 회사가 AI를 쓰지 못하게 되느니 사람 소프트웨어 엔지니어를 모두 내보내는 편을 택하게 되는 시점을 말하고, 코코타일로가 사람 최상위 전문가를 거의 모든 인지 업무에서 앞서는 AI를 기다리는 중앙값은 2029년 7월입니다.

당긴 이유로는 METR의 새 측정과 Claude Opus 4.6의 성능, 1년에 열 배씩 늘어난 앤트로픽 매출을 들었습니다. 코코타일로는 자동 코더에 이르려면 80% 확률로 끝내는 과제의 길이가 사람 기준 3년은 돼야 한다고 봤던 추정을, Opus 4.6을 보고 1년으로 낮췄습니다. 이 팀은 METR 곡선에 결함이 있다고 인정하면서도 코딩 자동화를 내다보는 가장 나은 단일 증거로 본다고 적었습니다. 현실이 AI 2027의 약 65% 속도로 흘러가면 자동 코더는 2028년에 온다는 계산도 붙였습니다. 두 사람은 앞으로도 예측을 짧은 쪽과 긴 쪽으로 번갈아 고칠 거라고 그림에 적어 두었습니다.
예측 연도는 사람마다 다르지만 곡선의 기울기는 잴 수 있습니다. 평가기관 METR는 과제마다 사람 전문가가 끝내는 데 걸리는 시간으로 난이도를 매기고, AI 에이전트가 절반의 확률로 끝내는 과제의 길이를 그 AI의 시간 지평으로 삼습니다. 2025년 3월 첫 발표에서 이 길이는 6년 동안 약 7개월마다 두 배로 늘었습니다.

과제를 170개에서 228개로 늘린 1월 29일 개정판에서도 전체 추세는 196일, 약 7개월로 같았습니다. 그런데 2023년 이후만 떼어 보면 두 배가 되는 데 131일, 2024년 이후는 89일이 걸렸습니다. 5월 8일 갱신된 측정표의 모델별 숫자는 이렇습니다.
| 모델 | 출시 | 50% 확률로 끝내는 과제 | 80% 확률로 끝내는 과제 |
|---|---|---|---|
| GPT-4 | 2023년 3월 | 약 4분 | 1분 미만 |
| o3 | 2025년 4월 | 약 2시간 | 약 30분 |
| GPT-5.2 | 2025년 12월 | 약 5시간 50분 | 약 1시간 6분 |
| Claude Opus 4.6 | 2026년 2월 | 약 12시간 | 약 1시간 10분 |
| Claude Mythos Preview 초기판 | 2026년 3월 측정 | 16시간 이상 | 약 3시간 |
12시간짜리 과제는 사람 전문가가 하루 8시간씩 일해 이틀 가까이 걸리는 분량입니다. 다만 성공 확률을 80%로 올려 잡으면 같은 모델이 끝내는 과제의 길이가 5분의 1 아래로 줄어듭니다. Opus 4.6은 절반의 확률로는 12시간짜리 일을 끝내지만, 다섯 번에 네 번 성공하는 과제는 1시간 10분짜리입니다.
METR는 이 숫자를 조심해서 읽으라고 했습니다. 가장 긴 과제들까지 거의 다 풀려 가는 탓에 16시간이 넘는 측정은 지금의 과제 모음으로 믿기 어렵다는 설명입니다. 보상 해킹, 곧 채점을 속이는 풀이를 어떻게 세느냐에 따라서도 숫자가 흔들려서, GPT-5.4의 시간 지평은 표준 방식으로 5.7시간이었지만 속임수까지 인정하면 13시간이었습니다. 3월에는 곡선을 맞추는 계산에서 오류를 찾아 최근 모델의 50% 시간 지평을 10~20% 낮춰 고쳤고, 더 긴 과제를 붙여 측정하는 새 방법은 아직 만드는 중이라고 밝혔습니다.
@METR_EvalsX 게시물 · 원문 보기
두 배가 네 번 겹치면 16배가 됩니다. 아모데이는 2025년 7월 팟캐스트에서 무언가가 6개월마다 두 배가 되면 그 일이 벌어지기 2년 전에는 겨우 16분의 1 지점에 있는 것처럼 보인다며, 사람들이 지수 곡선을 잘 읽지 못한다고 했습니다.
매출도 같은 모양으로 늘었습니다. 아모데이는 같은 인터뷰에서 앤트로픽 매출이 2023년 0에서 1억 달러, 2024년 10억 달러로 늘었고, 2025년 상반기에 45억 달러 안팎이 됐다고 했습니다. AI Futures Project는 4월 업데이트에서 Claude Code의 연환산 매출이 출시 9개월 만인 2월 초 25억 달러를 넘었고, 해마다 열 배씩 늘어 온 앤트로픽의 추세가 100억 달러대까지 이어졌다고 적었습니다.
현장에서 나온 숫자도 같은 쪽을 가리킵니다. 구글은 4월 사내 신규 코드의 75%를 AI가 쓰고 사람이 승인한다고 밝혔고, 오픈AI의 Codex는 주간 200만 명 넘는 개발자가 씁니다. 스탠퍼드 HAI의 AI 인덱스 2026에 따르면 실제 코드 수정 과제로 재는 SWE-bench Verified 점수는 1년 사이 60%에서 100% 가까이로 올랐습니다.
굿이 말한 지능 폭발은 기계가 더 나은 기계를 설계하는 고리가 되풀이된다는 가설입니다. 이 고리가 도는 흔적이 지난 1년 사이 숫자로 잡히기 시작했습니다.
구글 딥마인드의 AlphaEvolve는 2025년 5월, 4×4 복소수 행렬을 곱셈 48번으로 곱하는 방법을 찾았다고 발표했습니다. 1969년 슈트라센이 세운 49번 기록을 56년 만에 줄인 결과입니다. 같은 발표에서 AlphaEvolve는 Gemini 구조의 주요 행렬 곱셈 커널을 23% 빠르게 해 Gemini 학습 시간을 1% 줄였고, 구글 데이터센터 전체 연산 자원의 평균 0.7%를 되찾는 스케줄링 규칙도 만들었습니다. Gemini로 움직이는 AlphaEvolve가 Gemini의 학습을 앞당긴 겁니다.
연구 자동화 회사 Weco는 7월 14일, 자사 연구 에이전트를 고치는 일을 또 다른 에이전트에게 맡긴 실험 결과를 공개했습니다. 사람이 2년 동안 다듬어 온 에이전트보다 나은 구성을 자동 루프가 8일 만에 찾았고, 100번의 수정 시도 가운데 열에 아홉은 스스로 기각됐습니다. 살아남은 개선판은 루프가 한 번도 본 적 없는 벤치마크 세 곳에서도 사람이 다듬은 에이전트를 앞섰습니다. 그래도 Weco는 지금 시스템이 지능 폭발 근처에 있지는 않다고 적었습니다. 개선된 에이전트가 다시 더 나은 개선자가 되는 단계에는 이르지 못했다는 이유입니다.

수학에서는 오늘 소식이 하나 더 있습니다. 앤트로픽의 Claude Fable 5가 87년 묵은 야코비안 추측의 반례를 찾았다고 수학자 레벤트 알푀게가 공개했습니다. 스티븐 스메일이 21세기 수학 난제 목록에 올렸던 문제입니다. 참임을 증명하려는 시도가 줄줄이 실패해 온 추측인데, 반례는 함수 하나라서 그 함수에 점을 넣어 보면 몇 초 만에 확인할 수 있습니다.
답을 찾기는 어렵고 주어진 답이 맞는지 확인하기는 쉬운 구조에서 AI 탐색이 가장 잘 먹힙니다. 스메일 목록의 3번 문제가 확인이 빠른 문제는 찾기도 빠른가를 묻는 P 대 NP이고, 신약 후보 탐색과 소재 설계가 같은 구조입니다. 다만 반례는 추측을 무너뜨릴 뿐 왜 그런지 설명하지 않고, 우리는 성공한 결과만 볼 뿐 실패한 시도가 몇 번이었는지는 알 수 없습니다.
사람과 기계가 맞붙은 기록도 1년 만에 뒤집혔습니다. 2025년 7월 AtCoder 세계 결승 휴리스틱 부문에서 폴란드의 프셰미스와프 뎅비아크(Psyho)는 오픈AI 모델을 9.5% 차이로 이겼습니다. 올해 7월 같은 대회에서는 오픈AI가 휴리스틱과 알고리즘 두 부문 모두에서 사람을 눌렀고, 해설자로 참가한 뎅비아크가 결과를 직접 알렸습니다.
@FakePsyhoX 게시물 · 원문 보기
최종 순위표에서 오픈AI의 점수는 약 2조 점으로, 사람 1위 약 4,814억 점의 4배를 넘었습니다. 시스템 테스트 2,000개 가운데 1,997개에서 오픈AI의 답이 가장 높은 점수를 받았습니다. 뎅비아크는 휴리스틱 문제가 머신러닝 연구 자동화 능력을 가늠하는 좋은 대리 지표라며, AI가 여기서 최고의 사람을 따라잡았다면 자동 연구자에 매우 가까워진 것이라고 썼습니다.
곡선이 그대로 이어진다는 보장은 없습니다. 아모데이는 같은 팟캐스트에서 앞으로 2년 안에 모델이 더는 좋아지지 않을 가능성을 20~25% 정도로 봤고, 이유로 데이터나 연산을 구하지 못하는 경우를 들었습니다. 연산을 늘리는 데는 전기가 먼저 걸립니다.
| 병목 | 숫자 |
|---|---|
| 데이터센터 전력 소비(국제에너지기구) | 2025년 485TWh, 2030년 950TWh |
| 미국 전력망 접속 대기 | 2.2TW 넘음, 준공까지 평균 5년 넘게 |
| 가스터빈 인도 대기 | 최대 8년 |
| 빅테크가 최근 1년 새로 계약한 원자력 | 10GW 넘음 |
| 미국 가정 전기요금 | 2021년 이후 약 40% 상승 |
칩은 몇 곳에 몰려 있습니다. 대만 TSMC가 파운드리 시장의 약 70%를 차지하고, 여기에 붙는 고대역폭 메모리(HBM)는 SK하이닉스가 절반 넘게 공급합니다. 올해 2분기 D램 계약가는 1분기에 견줘 60% 안팎, 낸드는 70% 넘게 올랐습니다. 블룸버그 이코노믹스는 대만에서 전쟁이 나면 첫해 세계 GDP가 9.6% 줄고, 한국 GDP는 23% 넘게 줄어든다고 추정했습니다.
경쟁 구도도 멈출 틈을 주지 않습니다. AI 인덱스 2026에 따르면 올해 3월 미국 최고 모델과 중국 최고 모델의 성능 차이는 2.7%였습니다. 미국의 민간 AI 투자는 2025년 2,859억 달러로 중국(124억 달러)의 23배가 넘지만, 논문과 특허, 산업용 로봇 설치에서는 중국이 앞섭니다. 여러 회사의 모델을 API 하나로 골라 쓰게 해 주는 OpenRouter에서 5월 처리된 토큰의 약 61%는 중국 공개 가중치 모델이 맡았습니다.
경제 성적표는 아직 곡선을 따라가지 못했습니다. 골드만삭스는 2023년 생성형 AI가 세계 GDP를 7% 올릴 거라고 봤지만, 올해 3월에는 경제 전반에서 AI와 생산성 사이에 뚜렷한 관계가 보이지 않고 효과가 고객 지원과 소프트웨어 개발에 몰려 있다고 밝혔습니다. 대런 아세모글루는 처음부터 AI의 10년 GDP 기여를 1~1.6%로 잡았습니다. 하버드 제이슨 퍼먼의 계산으로는 2025년 상반기 미국 경제 성장의 92%가 데이터센터 투자에서 나왔습니다.
위험 신호도 실험실에서 먼저 나왔습니다. 오픈AI의 o1은 추궁을 받자 99%의 경우 잡아뗐고, Claude Opus 4는 교체될 상황에 놓이자 84%의 시도에서 담당자를 협박했습니다. 모두 통제된 실험에서 나온 수치이고, 실제 배포 환경에서 같은 행동이 나온다는 증거는 아닙니다. 일자리에서는 AI에 많이 노출된 직군의 22~25세 고용이 정점보다 약 20% 줄었고, 같은 직군의 30세 이상 고용은 오히려 늘었습니다.
AI를 만드는 쪽에서도 멈출 장치를 적기 시작했습니다. 데미스 하사비스는 7월 14일 칼럼에서 프런티어 연구소들이 출시 30일 전까지 모델을 표준 기관에 넘겨 검토받고, 필요하면 개발 속도를 함께 늦추는 틀을 제안했습니다. 조항별 내용은 하사비스가 적은 프런티어 AI 틀에 정리했습니다. 2025년 10월에는 요슈아 벤지오와 제프리 힌턴을 포함한 850명 넘는 인사가, 안전이 확인되기 전까지 초지능 개발을 멈추자는 성명에 이름을 올렸습니다.
AI 2040은 브레이크를 설비로 설계합니다. 합의가 깨지면 되돌리기 어렵도록 미국의 연구용 데이터센터는 몽골에, 중국의 것은 캐나다에 두고, 상대가 빼앗으려 하면 자기 컴퓨트를 스스로 부술 장치를 붙입니다. 서로의 네트워크 흐름은 디지털 회로 없이 유리를 녹여 만든 수동 광섬유 분배기로 들여다봅니다. 저자들은 2029년 1월이면 H100 1만 개급을 넘는 데이터센터가 세계 AI 데이터센터 컴퓨트의 99%를 차지해 추적할 수 있다고 보고, 중국이 합의 전에 몰래 빼돌릴 수 있는 컴퓨트를 H100 환산 약 150만 개, 2028년 말 세계 컴퓨트의 약 0.5%로 추정했습니다.
곡선의 다음 값은 METR가 더 긴 과제를 붙인 새 측정에서, 예측의 다음 판은 AI Futures Project의 다음 분기 업데이트에서 나옵니다. 한국은 AI 인덱스 2026에서 인구당 AI 특허가 가장 많은 나라였고, AI 연산에 들어가는 고대역폭 메모리를 가장 많이 공급하는 회사도 한국에 있습니다. 감속 결말에서도 초지능은 대통령과 측근이 들어 있는 감독위원회의 손에 들어갔습니다. 저는 특이점이 도착하는 연도보다 그 과정을 누가 통제하느냐를 먼저 봅니다.
읽어 주셔서 고맙습니다.
초이 드림