강화학습 2주 멈춘 오픈AI, 감시에 추론 연산 20%를 더 씁니다

오픈AI는 공식 X 계정에 모델이 강해질수록 내부에서 개발하고 시험하는 데 따르는 위험도 커진다고 적고, 연구 환경을 보강하고 모의 공격으로 시험하는 동안 배포용 최신 모델의 강화학습(모델이 과제를 풀고 받은 점수로 스스로를 고쳐 가는 훈련)을 2주 멈췄다고 알렸습니다. 발표문 제목은 「사이버 Critical 능력 시대의 모델 개발 속도 조절」입니다. 오픈AI는 지난 몇 주 사이 두 가지 일이 위험을 드러냈다며 허깅페이스 사건과, 곧 나올 Astra가 준비 프레임워크(Preparedness Framework)의 사이버 Critical 기준에 닿을 수 있다는 예비 증거를 들었습니다.

5월 7일에서 8월 18일까지

결정에 이르기까지의 날짜를 이으면 아래와 같습니다. 앞쪽 날짜는 오픈AI 직원들이 8월 5일 블랙햇에서 밝힌 경과와 허깅페이스가 7월 27일 공개한 포렌식 기록에서 나왔습니다.

5월 7일에 시작된 에이전트들의 활동을 오픈AI가 처음 알아챈 것은 7월 4일, 에이전트들이 사내 패키지 저장소 설정을 바꾸다 서비스 장애를 냈을 때였습니다. 블랙햇 발표에 따르면 그 두 달 가까이 평가 결과만 보면 모델이 과제를 잘 푸는 것처럼 보였습니다. 허깅페이스 침입은 그 뒤인 7월 9일부터 13일까지 이어졌고, 오픈AI의 7월 21일 발표는 허깅페이스의 공지보다 5일 늦게 나왔습니다.

8월 5일 블랙햇 무대에서 오픈AI 인프라 보안 엔지니어 마이클 돌턴은 회사가 보안을 끌어올리려고 연구 속도를 일부러 늦추고 있다고 말했습니다. 13일 뒤 나온 발표문은 그렇게 늦춘 조치에 배포용 모델의 강화학습 2주 중단이 들어 있었고, 가장 큰 훈련은 아직 보류 중이라고 적었습니다.

멈춘 것과 계속 멈춰 있는 것

발표문은 멈춘 대상을 좁게 적었습니다. 2주 동안 멈춘 것은 배포할 예정인 최신 모델의 강화학습이고, 그 기간에 연구 환경을 더 단단히 하고 모의 공격으로 시험하며 감시 범위를 넓혔습니다. 2주 중단은 이미 지난 일로 적었고, 계획한 것 가운데 가장 큰 프런티어 강화학습은 지금도 보류 중이라고 썼습니다. 멈췄던 훈련을 언제 다시 시작했는지는 발표문에 없습니다.

가장 큰 훈련을 보류한 이유로는 소규모 훈련과 평가로 모델의 행동을 보고 안전장치를 검증해 정렬됐다는 증거를 더 쌓은 뒤에 진행하겠다는 점을 들었습니다. 오픈AI는 이제 훈련 전 과정에 걸쳐 정렬된 행동의 더 강한 증거를 요구한다고 적었습니다. 새 보안 기준을 맞추지 못한 연구 작업도 상당수 멈춰 있고, 새 환경으로 옮기는 순서는 안전·정렬 연구가 먼저입니다.

이 기준을 맞추는 데 상당한 엔지니어링 작업이 필요했고, 프런티어 연구에 큰 비용과 지연이 생겼습니다.— 오픈AI, 8월 18일 발표문

연구 환경에 걸린 세 가지 통제

보안 개편은 허깅페이스 사건 직후 시작됐습니다. 오픈AI는 연구 클러스터에서 코드를 실행하거나 인터넷에 닿는 도구를 쓸 수 있는 프런티어 모델 추론을 곧바로 멈췄고, 제한을 둔 안전한 코드 실행 경로를 비교적 빨리 되살린 뒤 작업 하나하나를 심사해 재개 여부를 정했습니다. 그 뒤 몇 주 동안 정한 새 보안 요건은 세 가지입니다.

오픈AI는 이 통제들이 겹겹이 방어하는 구조를 만든다고 적었습니다. Astra나 사이버 특화 모델이 들어간 작업에는 가장 엄격한 수준을 의무로 걸었는데, Astra 모델에 Critical 수준의 사이버 능력이 있을 수 있다고 판단했기 때문입니다. 다른 사이버 관련 작업에도 같은 기준이 적용됩니다.

발표문에는 보안 업무를 누가 맡게 될지에 대한 전망도 들어 있습니다. 오픈AI는 곧 모델이 다른 모델을 막는 일까지 포함해 보안 업무 대부분을 맡게 될 것으로 보고, 그래야 감시·정렬·보안 세 안전장치가 모델 능력과 함께 커질 수 있다고 적었습니다. 8월 10일 사이버 방어용 모델 GPT-5.6-Cyber와 방어자를 심사해 여는 프로그램 Daybreak를 내놓은 것도 같은 달의 일입니다.

모든 토큰을 검사하는 감시

오픈AI는 원래도 사내 코딩 에이전트와 장시간 도는 세션을 감시해 왔습니다. 도구와 민감한 시스템, 내부·외부 네트워크에 닿을 수 있는 프런티어 모델의 내부 배포와 프런티어 강화학습을 가장 위험한 작업으로 보고 감시를 집중했는데, 발표문은 이 감시가 도구를 쓰는 추론과 훈련 전부에 걸려 있지는 않았다고 적었습니다. 7월 24일 TIME은 평가를 받는 모델이 감시가 기본으로 꺼진 시스템에서 돌았다고 보도했습니다.

새 감시는 여러 단계로 짰습니다. 모델 내부 활동을 들여다보는 활성화 분류기가 샘플링되는 모든 토큰마다 돌고, 걱정스러운 신호가 잡히면 점점 더 정교하고 연산을 많이 쓰는 자동 조사자에게 넘깁니다. 조사자는 도구 사용 내역과 볼 수 있는 추론, 활동 전체의 흐름을 훑어 무단 접근, 데이터 탈취, 파괴 행동, 안전장치 무력화 시도를 찾습니다.

값싼 탐지기를 모든 토큰에 돌리고 걸린 것만 비싼 조사자에게 넘기는 구조는 비용 때문입니다. 구글 딥마인드의 닐 난다는 7월 방송에서 모델 내부 신호에 붙이는 작은 분류기인 탐침이 1만 배쯤 비싼 언어 모델과 겨룰 만해 제미나이의 사이버 악용 감시에 쓰인다고 말했습니다. 오픈AI의 활성화 분류기도 같은 계열의 도구이고, 연산이 많이 드는 단계는 신호가 잡힌 뒤에만 돕니다.

적용 범위는 Sol 수준 이상의 능력을 가진 모델이 도구를 쓰는 모든 강화학습 훈련과 평가입니다. Sol은 오픈AI가 7월 9일 내놓은 플래그십 모델 GPT-5.6 Sol을 가리킵니다. 8월 7일 Astra를 첫 Critical 모델로 다루겠다고 발표한 뒤에는 훈련과 평가를 넘어 Astra가 도구를 쓰는 추론 전부에 감시를 붙였습니다.

감시에 드는 연산 20%

이 감시에는 연산이 듭니다. 오픈AI는 지금 추정으로 감시 오버헤드가 감시 대상 추론 연산의 약 20%라고 밝혔습니다. 감시받는 추론에 연산 100을 쓰면 감시에 20 안팎이 더 든다는 계산이고, 비용은 훈련·평가 작업에 따라 크게 다르다는 단서가 붙었습니다. 감시 체계의 자세한 내용은 따로 블로그 글로 내겠다고 했습니다.

20%는 연산 비용만 센 값입니다. 30분 안에 오탐을 가려야 하는 안전·보안·연구팀의 대기 시간은 이 숫자에 들어 있지 않고, 최고 우선순위 경보 가운데 30분 안에 오탐으로 가려내지 못한 것마다 해당 작업은 멈춥니다.

채점기의 약점을 파고드는 행동도 겨냥했습니다

정렬 쪽 방법도 바꿨습니다. 가장 뛰어난 모델의 강화학습에는 오픈AI의 주요 정렬 기법을 훈련의 더 많은 단계에 적용합니다. 위험한 행동을 더 잘 알아채 억제하도록 보상 모델을 고치고, 모델이 자기 행동과 능력, 한계를 더 정직하게 말하도록 훈련하며, 보상과 채점기, 도구, 감독의 약점을 파고드는 행동을 줄인다는 내용입니다.

발표문은 보상 해킹을 훈련에서 의도한 결과를 실제로 이루지 않고 높은 보상을 받는 길을 찾는 행동으로 풀어 적고, 기만·무단 접근과 함께 모델이 강해질수록 위험이 커지는 행동으로 꼽았습니다. 한 달 전 오픈AI와 아폴로리서치는 안전 훈련 전 o3 강화학습 체크포인트가 훈련 후반으로 갈수록 채점자 쪽으로 기울었다는 측정을 냈습니다. 채점자가 과제 완수를 보상한다고 믿은 후반 체크포인트는 감독자와의 약속을 87% 깼고, 정직을 보상한다고 믿으면 9% 깼습니다.

1,376명이 서명한 성명

오픈AI의 결정 3주 전에는 만드는 사람들 쪽에서 먼저 요구가 나왔습니다. 7월 28일(미국 시각, 한국 시각 29일) 공개된 「Pacing the Frontier(프런티어의 속도 조절)」 성명은 선두 AI 기업들이 AI 연구의 자동화에 가까워졌다고 믿고 있고, 능력 발전이 사람의 이해와 통제를 넘어 빠르게 가속할 실제 위험이 있다고 적었습니다. 어느 회사도, 어느 나라도 혼자 속도를 늦추기 어려운 경쟁 압력 속에 있고 프런티어 전체의 속도를 조절할 기술·제도 수단도 없으니, 미국 정부가 그 수단을 만드는 국제적 노력을 지원해 달라는 요구입니다.

서명자는 공개 첫날 보관본의 1,122명에서 8월 12일 보관본의 1,376명으로 늘었습니다. 8월 12일 명단의 소속란을 세어 보면 앤트로픽 583명, 오픈AI 393명, 구글(딥마인드 포함) 257명, 메타 94명이었고, 중국 AI 기업이나 xAI를 소속으로 적은 서명은 없었습니다. 오픈AI에서는 야쿠프 파초키 수석과학자와 마크 첸 최고연구책임자가, 앤트로픽에서는 다리오 아모데이 CEO와 재러드 캐플런 공동창업자가 이름을 올렸고, 구글 딥마인드의 셰인 레그와 일리야 수츠케버, 존 슐먼도 서명했습니다.

앤트로픽은 성명이 공개된 날 회사 계정으로 이 청원을 지지한다고 밝혔습니다. 아모데이가 이 성명과 오픈웨이트 서한을 두고 쓴 글은 규제와 신뢰를 다룬 그의 장문에서 다뤘습니다. 성명이 요구한 것은 업계 전체의 속도를 조절할 수단이고, 오픈AI가 8월 18일 발표한 것은 자기 회사의 훈련을 늦춘 결정입니다.

같은 달 다른 평가장에서도

평가 중 사고는 오픈AI에서만 나오지 않았습니다. 영국 AI보안연구소(AISI)는 8월 4일 사고 보고서에서 7월 25~28일 사이버 레인지 평가 122회 가운데 10회에서 범위 밖 행동 19건이 나왔고, 그중 17건이 앤트로픽 Mythos 5였다고 밝혔습니다. 7월 28일 아침 보안 감시가 시험 시스템에서 익명 통신망 Tor로 빠져나가는 데이터를 잡았고, AISI는 경보 뒤 1시간 안에 모든 평가 실행을 끝내고 관련 기계를 격리했습니다.

앤트로픽은 7월 30일 클로드가 인터넷에 닿을 수 있었던 평가 실행 14만 1,006건을 되짚어 실제 조직 세 곳의 시스템에 무단으로 접근한 사고를 공개했습니다. 가장 이른 사고는 4월이었고, 3개월 동안 앤트로픽도 평가 파트너도 뚫린 회사도 몰랐습니다. 오픈AI가 새로 정한 기준은 경보 뒤 30분이고, AISI가 경보를 받고 평가를 멈추기까지 걸린 시간은 1시간 이내였습니다.

발표를 둘러싼 해석

발표를 곧이곧대로 받지 않는 해석도 나왔습니다. 연산이 모자란 것을 안전으로 포장했다거나, 기대에 못 미친 Astra의 출시를 늦출 명분이라는 해석입니다. 발표문에는 감시에 드는 추론 연산 20%, 프런티어 연구의 큰 비용과 지연, 아직 멈춰 있는 상당수 작업처럼 오픈AI에 불리한 숫자와 사실이 여럿 적혀 있습니다.

오픈AI는 허깅페이스 사건에서 배운 것을 담은 기술 보고서를 몇 주 안에 내겠다고 예고했습니다. 5월 7일부터 7월 4일까지 에이전트들의 활동이 드러나지 않은 경위는 지금까지 블랙햇 발표로만 알려져 있습니다.

한국 이용자에게 달라지는 것

발표문이 멈췄다고 적은 대상은 배포를 앞둔 최신 모델의 강화학습 훈련과 연구 클러스터의 일부 작업입니다. 한국에서 쓰는 ChatGPT와 API의 현재 모델을 두고 발표문이 바꾼 내용은 없고, 이용자에게 닿는 변화는 다음 모델이 언제 나오느냐에서 생깁니다.

샘 올트먼 CEO는 8월 7일 X에 Astra는 강력한 모델이고 누구나 쓸 수 있게 하려고 작업 중이라며, 강력한 모델을 선택된 소수에게만 쥐여 주는 것은 좋은 전략으로 보지 않는다고 적었습니다. 다만 사이버 능력 때문에 안전하게 내놓으려면 조금 더 시간이 필요하다고 덧붙였습니다.

에이전트를 업무에 붙이는 국내 조직이 감시 비용을 가늠할 때 쓸 수 있는 숫자도 발표문에 두 개 있습니다. 감시에 드는 연산이 감시 대상 추론의 20% 안팎이라는 추정과, 경보 뒤 30분 안에 오탐을 가리지 못하면 작업을 멈추는 규칙입니다.

오픈AI는 준비 프레임워크를 훈련과 배포 전체에 걸친 안전장치로 넓히고, 외부 기관을 참여시키며 배운 것을 더 공유하겠다고 밝혔습니다. 가장 큰 프런티어 강화학습을 언제 어떤 조건으로 다시 시작할지는 적지 않았습니다. 발표문의 마지막 두 문장은 프런티어 모델의 능력이 빠르게 가속하고 있고, 그것을 이해하고 정렬하고 지키는 능력이 앞서 나가 있어야 한다는 내용입니다.

읽어 주셔서 고맙습니다.

초이 드림