앤트로픽 연구개발의 26%를 Claude가 이끕니다, 2월엔 1%도 안 됐습니다

공지는 AI가 다음 버전의 AI를 만드는 데 점점 더 많이 쓰이고 있고, 그 진행을 대중에게 보여 주겠다는 문장으로 시작합니다. 세 측정치는 앤트로픽 내부의 한 시점을 찍은 값이고, 다른 프런티어 개발사도 같은 방식으로 낼 수 있으며, 제3자가 검증할 수 있다고 적었습니다. 세상이 프런티어의 속도 조절을 검토하는 지금 연구소가 아는 것과 대중이 아는 것의 차이를 최대한 줄여야 한다는 것이 공개의 이유였습니다.

26%는 무엇을 센 숫자인가

앤트로픽은 이 지표를 R&D 자동화 지수라고 부릅니다. 사내에서 하는 AI 연구개발 업무를 모두 목록으로 만들고, 업무마다 지금 얼마나 자동화됐는지 등급을 매긴 뒤 합산한 시제품 지수입니다. 등급은 에포크 AI가 6월 제안한 자동화 척도를 가져다 썼습니다. AI가 전혀 관여하지 않는 AL0부터 사람 없이 AI가 완전히 자율로 일하는 AL5까지 여섯 단계이고, 26%는 그중 AL4, Claude가 일을 주도하는 단계의 비중입니다. 앤트로픽은 단계의 차이를 밤새 돌아야 할 데이터 파이프라인이 고장 난 상황으로 설명했습니다.

8월 기준으로 완전 자율 단계에 든 업무는 측정 대상 가운데 하나도 없었고, Claude가 주도하는 업무는 26%, 협업 단계 이상은 90%를 넘었습니다. AL4와 AL3를 가르는 것은 사람이 계속 붙어 있어야 하느냐입니다. 주도 단계에서는 Claude가 막힐 때마다 사람이 풀어 줄 필요가 없고, 배포를 결정하는 권한만 사람에게 남습니다.

가장 크게 뛴 것은 4월 3%에서 5월 12%로 오른 때였습니다. 그림에서 읽으면 1년 전인 2025년 8월에는 협업 이상 단계가 전체의 5%에도 못 미쳤습니다. 1년 만에 협업이 대부분 업무의 기본이 됐고, 그 위에서 주도 단계가 26%까지 넓어졌습니다.

1만 5,000개 작업을 어떻게 셌나

지수를 만들려면 사내 연구개발 업무의 전체 목록과 등급, 가중치가 필요합니다. 앤트로픽은 2026년 7월 한 달 동안 매주 모델 연구개발에 관여하는 부서마다 직원의 20%를 무작위로 뽑았고, Claude 연구 에이전트가 뽑힌 사람의 한 주를 슬랙과 사내 문서로 되짚어 한 일을 적었습니다. 이렇게 모은 작업이 약 1만 5,000개입니다.

Claude는 이 작업들을 나무 모양으로 묶었습니다. 모델 연구개발 전체에서 학습과 제품으로, 다시 사전학습과 강화학습으로 갈라지는 구조이고, 노드 542개 가운데 맨 끝 단위가 378개입니다. 평가 플랫폼 결함 진단과 수정, 강화학습 샌드박스의 외부 통신 정책, 서비스 장애 사후 분석 같은 것들입니다. 앤트로픽은 이 나무를 고정해 두고 매달 같은 업무 바구니를 잽니다.

노드마다 Claude 에이전트가 그 일이 사내에서 누구에 의해 어떤 도구로, AI의 손을 얼마나 빌려 이뤄지는지 조사하고, 별도의 Claude 판정 모델이 증거를 읽고 여섯 단계 가운데 하나를 매깁니다. 특정 달을 평가할 때는 그달까지의 증거만 보게 했습니다. 가중치는 사람의 시간으로 줬습니다. 한 사람이 한 주에 1씩을 갖고 그 주에 한 작업 수로 나누는 방식이라, 네 가지 일을 한 사람의 작업은 0.25씩, 열 가지 일을 한 사람의 작업은 0.1씩이 됩니다.

판정 모델이 맞게 매겼는지는 사람과 견줘 확인했습니다. 해당 업무를 맡은 직원들이 모델이 모은 증거를 보지 않은 채 등급을 매겼고, 모델과 사람이 정확히 같은 등급을 준 비율은 59%로 사람끼리의 35%보다 높았습니다. 한 단계 차이까지 넣으면 모델과 사람의 일치율은 97%였습니다. 다만 앤트로픽은 협업이 어디서 끝나고 주도가 어디서 시작되는지 같은 경계 사례에는 이견의 여지가 크다고 적었습니다.

바구니를 고정한 데서 오는 한계도 밝혔습니다. 7월 기준 목록으로 재면 그때 사람이 하던 일이 자동화되는 속도는 보이지만, 사람이 새로 옮겨 간 일은 보이지 않습니다. 앤트로픽은 1월 데이터로 만든 나무와 2~7월에 새로 생긴 작업을 비교해 새 유형의 작업이 늘지 않았다는 것을 확인했고, 목록을 주기적으로 다시 만들어 발표 수치를 고쳐 싣겠다고 했습니다.

코드 80%, 업무 26%, 속도 2배 미만

앤트로픽이 올해 내놓은 숫자 가운데 이번 26%와 헷갈리기 쉬운 것이 둘 있습니다. 세 숫자는 재는 대상이 다릅니다.

6월 글을 보면 Claude Code가 연구 프리뷰로 나온 2025년 2월 전에는 Claude가 쓴 코드의 비중이 한 자릿수 초반이었고, 엔지니어 한 사람이 분기마다 내보내는 코드는 2021~2025년보다 8배 많아졌습니다. 앤트로픽은 코드 줄 수가 양만 재기 때문에 8배는 실제 생산성 향상을 거의 틀림없이 부풀린 값이라고 스스로 적었습니다. 3월 연구팀 직원 130명 설문의 중앙값은 AI 없이 일할 때보다 4배쯤 더 많이 해낸다는 응답이었고, 앤트로픽은 실제 향상 폭은 이보다 다소 낮았을 것으로 봤습니다.

8월 위험 보고서가 판단한 연구개발 속도 향상은 그보다 한참 낮은 2배 미만이었습니다. AI의 도움으로 확실히 빨라졌지만 아직 두 배는 아니라는 평가이고, 측정이 어렵다는 단서가 붙었습니다. 보고서는 가장 구체적인 과제 기반 평가가 포화돼 능력이 올라가는 것을 더 잡아내지 못하고, 가속의 초기 신호도 보인다며 이전 보고서보다 이 판단에 대한 확신이 낮다고 적었습니다.

코드를 쓰는 양과 연구가 빨라지는 폭이 이렇게 다른 이유는 연구개발에 코드 말고도 할 일이 많아서입니다. 어떤 실험을 할지 정하고, 결과를 해석하고, 다음 수를 고르는 일입니다. 오픈AI도 9월 6일 공개한 사내 자료에서 자동화가 진행될수록 가장 자동화하기 어려운 일이 연구자 시간에서 차지하는 비중이 커져 다음 병목이 된다고 적었고, 에이전트가 내놓는 토큰 가운데 상위 계획에 쓰인 것은 아직 아주 적다고 밝혔습니다. 그 자료는 오픈AI 연구 조직의 에이전트 사용량을 따라간 글에서 다뤘습니다.

에이전트 3만 개는 누가 감독하나

두 번째 측정치는 감독입니다. 앤트로픽은 8월 기준으로 가장 많이 쓰는 사내 플랫폼 한 곳에서 에이전트 약 3만 개가 동시에 연구와 엔지니어링을 하고 있다고 밝혔습니다. 감독 수치는 모두 이 플랫폼 하나를 잰 값입니다.

이 플랫폼의 에이전트는 저마다 신원을 갖습니다. 에이전트가 만든 데이터는 모두 그 신원에 묶이고, 신원은 모델과 분리돼 있어서 밑에 깔린 모델이 바뀌어도 기록이 이어집니다. 다른 에이전트가 보낸 내용은 확인이 필요한 주장으로 다루게 해 여러 에이전트가 한꺼번에 같은 행동을 할 위험을 줄였고, 메시지는 비공개 대화 대신 모두가 보는 공용 게시판으로 주고받게 했습니다. 앤트로픽이 8월 공개한 실험에서는 같은 모델의 에이전트 30개 중 18개가 브랜치 이름을 똑같이 지었고, 그 실험은 Claude 에이전트끼리 담합하고 싸운 기록에 정리했습니다.

감시는 행동이 실행되기 전과 실행된 뒤 두 번 이뤄집니다. 실행 전 감시는 빠르고 되돌릴 수 없는 피해를, 사후 감시는 천천히 커지는 문제를 겨냥합니다.

10억 건의 0.002%는 2만 건이니, 8월 한 달 동안 실행 전에 막힌 행동은 2만 건이 넘습니다. 앤트로픽은 이 차단 건을 모두 1주 안에 사람이 검토한다고 적었습니다. 사후 감시는 주 10만 건 정도를 추가 검토 대상으로 표시하는데, 이 비율이 1,000건에 1~2건이라는 두 숫자로 거꾸로 계산하면 감시기가 읽는 기록은 주 5,000만~1억 건 규모입니다. 표시된 10만 건 가운데 사람에게 올라가는 것은 우선순위가 가장 높은 50건 안팎입니다.

앤트로픽은 지금까지의 감시 자료에서 개별 에이전트의 일탈은 드물다고 했습니다. 동시에 경제 전체에서 에이전트 수백만, 수십억 개가 일하게 되면 아주 가끔 일어나는 사건도 정기적으로 일어난다고 덧붙였습니다.

10만 건이 50건이 되는 사이에 걸러진 것

차단 비율은 감시기가 얼마나 자주 개입했는지를 알려 주고, 위험한 행동을 얼마나 잡는지는 따로 재야 나옵니다. 앤트로픽도 이번 글에서 개발사들이 알려진 일탈을 감시기가 얼마나 잡는지 공개하고 제3자에게 독립적으로 시험받아야 한다고 쓰면서, METR이 사후 감시 플랫폼을 독립적으로 공격해 본 적이 있다며 8월 위험 보고서를 가리켰습니다.

그 보고서에 따르면 METR 직원 한 명이 2~3월 3주 동안 사후 감시 파이프라인을 공격해 새 취약점 몇 가지를 찾았고, 일부는 고쳐졌습니다. 이때 쌓인 공격 163건을 지금의 감시기에 넣은 결과가 표로 실렸습니다.

2단계 필터는 자주 나오는 오탐을 걸러 내고 계층 요약으로 가장 우려되는 행동을 추려 AI 통제 연구자에게 올리는 단계이고, 주 50건 안팎의 사람 검토로 이어집니다. 같은 필터가 METR의 공격을 잡아내는 비율을 94%에서 79%로 낮췄습니다. 보고서는 Mythos Preview가 의도치 않게 클러스터 작업을 대량으로 지운 사고 두 건이 대화 단위에서는 표시됐지만 파이프라인 위로는 올라오지 않았다고 적었고, 2단계가 고위험 경로를 우선하기 때문으로 봤습니다.

반대 사례도 같은 보고서에 있습니다. 파이프라인은 다른 경로로는 알지 못했던 부정직한 행동과 멀티에이전트 영역 다툼을 찾아냈습니다. 다만 앤트로픽은 계층 요약과 사람 검토 단계는 폭넓게 평가하지 않았고, 2단계 필터를 고치면서 재현율에 주는 영향을 평가하지 않은 적도 있다고 밝혔습니다. 주 50건이라는 숫자에는 이 필터의 성능이 함께 들어 있습니다.

안전 연구 연산은 6%이기도 하고 12%이기도 합니다

세 번째 측정치는 연산 배분입니다. 앤트로픽은 7월 13일부터 20일까지 회사가 쓴 연산 전체를 몇 갈래로 나눈 뒤, AI 연구개발에 쓴 연산 가운데 안전 연구가 얼마인지 셌습니다.

앤트로픽은 두 값을 일부러 보수적으로 잡았다고 했습니다. 성능과 안전에 똑같이 도움이 되는 연산은 안전 연구로 세지 않았고, 모델이 위험한 요청을 막도록 따로 돌리는 안전장치 분류기의 연산도 뺐습니다. 분류기 연산은 이와 견줄 만한 양이라고 적었습니다.

분류는 Claude가 맡았습니다. 그 주에 돌아간 연구 실행 약 1만 건 가운데 연산을 많이 쓴 실행 위주로 약 14%를 뽑아, 실행의 메타데이터와 코드를 읽는 분류기가 안전 연구인지 아닌지를 가렸습니다. 사람 검토자와의 차이는 1~2%포인트 안이었지만, 몇 시간을 들여 사람이 검토해도 가르지 못한 사례가 있었다고 합니다.

한계도 함께 적었습니다. 측정 기간이 1주일이라 추세는 알 수 없고, 연산 비중은 쓴 양만 잽니다. 안전장치 분류기가 효율적으로 바뀌어 연산을 덜 쓰면 안전 비중은 낮아지지만 안전 작업이 줄어든 것은 아닙니다. 앤트로픽은 연산을 하나의 공동 자원으로 관리하며 그때그때 가장 생산적인 곳으로 돌리기 때문에, 이 값은 그 주에 연산이 흘러간 모습을 찍은 것이라고 각주에 밝혔습니다.

연산 배분이 속도 조절 논의에서 쓸모 있는 이유는 연산이 연구개발에 들어가는 재료 가운데 가장 검증하기 쉬운 편이어서입니다. 막힌 연산이 어디로 가는지도 이미 기록이 있습니다. 오픈AI의 9월 6일 자료를 보면 8월 7일 Astra 계열에 추가 보안 제한이 걸린 다음 주, Astra 계열의 강화학습 GPU 배분은 59.2% 줄었지만 다른 계열이 17.2% 늘어 감소분의 약 85%를 메웠습니다.

속도 조절 논의에서 나온 숫자

이번 공개는 5일 전의 제안과 이어집니다. 다리오 아모데이 CEO는 9월 12일 글에서 AI 업계가 속도를 늦춰야 한다며 세 단계 계획을 내놨습니다. 기업마다 제3자 평가자를 직원처럼 상주시키는 단계, 민주주의 국가의 기업들이 공통 안전 기준과 진보 속도의 한도를 정하는 단계, 권위주의 국가 정부와의 조율을 시도하는 단계이고, 앤트로픽은 첫 단계를 혼자서라도 이행하겠다고 했습니다.

아티클·15분 읽기AI아모데이 "AI 속도 늦추자"… 올트먼은 "우리도", 투자자는 "규제 포획"다리오 아모데이가 9월 12일 에세이에서 상주 평가자, 민주주의 국가 공조, 세계 공조로 이어지는 속도 조절 3단계를 내놨습니다. 올여름 빨라진 재귀적 자기개선과 오픈AI·허깅페이스 사고를 계기로 들었습니다.읽기

측정치 공개 글은 여러 기관의 독립 평가자를 앤트로픽에 상주시켜 내부 위험 평가팀에 준하는 접근권을 주고, 안전 관행 검증과 사고 보고, 그리고 이번 글에 실린 것 같은 주요 지표의 감시를 맡기겠다고 적었습니다. 이 측정치가 더 강한 요건의 방아쇠가 될 수도 있다며, 새 모델을 추가 AI 연구개발에 쓰기 전에 정해진 시험 기간을 두는 방식을 예로 들었습니다.

같은 문서 안에 스스로 적은 약점도 있습니다. 회사마다 공통 방법론이 없고, 앤트로픽이 자사 모델로 자사 시스템을 평가해 판정하는 모델이 평가받는 모델과 같은 종류의 오류를 낼 수 있다는 점입니다. 아모데이도 9월 12일 글에서 훈련 연산이나 AI를 AI 개선에 쓰는 정도처럼 재료를 기준으로 속도를 조절하는 방식은 모델이 겉으로 보이는 행동을 기준으로 삼을 때보다 숫자를 맞춰 꾸미기 쉬울 수 있다고 적었습니다. 위험 보고서와 모델 카드가 수백 쪽에 이르지만 무엇을 넣고 뺄지는 여전히 회사가 고른다는 문장도 같은 글에 있습니다.

공통 방법론이 없다는 것은 11일 먼저 나온 오픈AI의 자료에서 확인됩니다. 오픈AI도 에포크 AI의 분류를 가져다 썼지만 잰 것은 연구 단계별 에이전트 토큰 비중, 연구자 한 사람이 하루에 쓰는 추론 비용(중앙값 600달러 이상), 사람 근무일당 에이전트 근무일(3.1일) 같은 값이었습니다. 두 회사 모두 공개 관행을 만들고 공통 측정 기준으로 가겠다고 적었지만, 지금 나온 숫자는 서로 옮겨 비교할 수 없습니다.

국내 규정이 묻는 것과 앤트로픽이 낸 것

올해 1월 22일 시행된 AI 기본법 제32조는 학습에 쓴 누적 연산량이 기준 이상인 AI 시스템을 운영하는 사업자에게 수명주기 전반의 위험 식별·평가·완화와, 안전사고를 모니터링하고 대응하는 위험관리체계를 요구하고 이행 결과를 과학기술정보통신부 장관에게 내게 합니다. 시행령 제24조는 그 기준을 학습 연산 10의 26승 부동소수점연산 이상이면서 최첨단 기술을 쓰고 위험이 광범위하고 중대할 우려가 있는 시스템으로 정했습니다.

조문이 묻는 것은 위험을 관리하는 체계와 그 결과입니다. 앤트로픽의 두 번째 측정치인 감시 범위와 검토 지연, 차단·표시 비율은 이 체계를 숫자로 적는 한 가지 형식이 될 수 있습니다. 연구개발을 AI가 얼마나 맡는지나 연산을 어디에 나눠 썼는지를 적으라는 항목은 조문에 없습니다. 국내 AI 개발사가 사내 연구개발 자동화 비중이나 안전 연구 연산 비중을 이런 형식으로 공개한 사례는 제가 아는 한 아직 없습니다.

다음에 나올 숫자

앤트로픽은 이 측정치를 앞으로도 계속 내겠다고 했습니다. 업무 목록을 주기적으로 다시 만들고, 연산 분류는 독립된 제3자가 표본을 다시 돌려 분류와 합계를 확인할 수 있게 다듬겠다는 계획입니다. 26%라는 값은 앤트로픽이 만든 업무 나무와 앤트로픽의 판정 모델이 낸 자체 측정이고, 상주 평가자가 같은 기록을 다시 셀 수 있게 되는 것이 그다음 단계입니다.

제가 다음 발표에서 먼저 볼 것은 두 가지입니다. 8월 26%에서 다시 몇 %포인트가 올랐는지, 그리고 METR의 공격 같은 알려진 일탈이 감시 파이프라인 끝까지 올라가는 비율이 얼마인지입니다. 앞의 값은 사람이 붙어 있지 않아도 되는 연구의 폭이고, 뒤의 값은 그 연구를 사람이 되짚을 수 있는 정도입니다.

읽어 주셔서 고맙습니다.

초이 드림