"시행착오의 시대는 끝났다" 오픈AI 안전 보고서 12건 총괄한 로빈슨 퇴사

기고는 디애틀랜틱의 에이드리언 라프랜스가 공개 9분 뒤 X에 알렸습니다. 로빈슨이 이번 주 사직했고, 오픈AI에서 가장 오래 일한 직원 가운데 한 명이며, 프런티어 모델 출시 12건의 안전 보고서를 맡았다는 소개였습니다. 그 아래에는 로빈슨이 매우 걱정하고 있다며 기고의 한 문장을 붙였습니다.

로빈슨은 기고 첫 문단에서 자신이 주요 출시마다 함께 낸 안전 보고서의 작성을 이끌었다고 밝혔습니다. 오픈AI에서 3년 반을 일했고, 현행 준비 프레임워크(오픈AI가 위험한 능력을 재고 출시 조건을 정하는 사내 규정)의 초안 작성을 이끌었다고도 적었습니다. 디애틀랜틱은 필자 소개에 그가 오픈AI 안전팀의 투명성 업무를 이끌었다고 썼고, 퇴사 소식은 미국 시각 10월 2일 비즈니스 인사이더가 처음 보도했습니다.

해고 보도 다음 날 나온 기고

기고가 나오기 전날, 오픈AI 안전 조직에서는 다른 일이 먼저 터졌습니다. 월스트리트저널은 한국 시각 10월 2일 새벽 1시 20분, 오픈AI가 외부 AI 안전 단체와 기밀을 공유한 혐의 등으로 안전팀 연구원 3명을 해고했다고 보도했습니다. 같은 날 새벽 X에서는 해고 명단과 별개로 또 한 사람의 이름이 오르내렸습니다.

엘리 바쿠슈는 새벽 3시 25분 WSJ 기사에 로빈슨의 이름은 나오지 않는다고 적었고, 7분 뒤 앤드루 커런은 이 글을 인용하며 「네 번째 이름을 두고 추측이 많다」고 썼습니다. 기고가 나온 10월 3일 밤, 커런은 그 글을 다시 인용해 로빈슨이 실제로 사직했다고 확인했습니다.

로빈슨의 기고에는 해고된 세 사람 이야기가 없습니다. 그는 자신이 사직했다고 썼고, 회사를 나온 뒤 홍보 회사 스피트파이어 스트래티지스의 도움을 받고 있지만 공개적으로 말하기로 한 결정은 오롯이 자기 것이라고 덧붙였습니다.

그가 써 온 문서, 시스템 카드

로빈슨이 맡아 온 안전 보고서는 오픈AI가 새 모델을 내놓을 때 함께 공개하는 시스템 카드입니다. 모델에 어떤 시험을 했는지, 위험한 능력이 어느 등급에 이르렀는지, 어떤 안전장치를 달았는지를 적습니다. 2025년 4월 15일 개정한 준비 프레임워크 2판은 주요 배포마다 시험 범위와 분야별 능력 평가, 배포를 결정한 이유를 공개하겠다고 약속했고, 분야별 능력 평가는 지난 시스템 카드에서 볼 수 있다고 안내합니다.

그의 이름은 오픈AI 문서에도 남아 있습니다. 2024년 8월 8일 나온 GPT-4o 시스템 카드의 「시스템 카드 기여자」 명단과 2024년 12월 5일판 o1 시스템 카드의 감사 명단에 David Robinson이 들어 있습니다. 그가 일하는 동안 나온 시스템 카드 가운데 위험 등급이 올라간 흐름을 따라 몇 개만 골라 보면 아래와 같습니다.

2023년 12월 베타판으로 처음 나온 준비 프레임워크는 2판에서 추적하는 위험을 생물·화학, 사이버보안, AI 자기개선 셋으로 정리하고 위험 능력을 High와 Critical 두 단계로 나눴습니다. High는 이미 있는 심각한 피해 경로를 크게 키우는 능력이고, Critical은 전례 없는 새로운 피해 경로를 열 위험이 있는 능력이라 개발하는 동안에도 안전장치를 요구합니다. 오픈AI는 9월 1일 Astra를 Critical로 확정했고, 2일 뒤 나온 Astra 시스템 카드 첫 문단에 그 사실을 적었습니다.

출시 속도는 오픈AI 배포 안전 허브(Deployment Safety Hub)의 목록에서 보입니다. 6월 26일 GPT-5.6 미리보기판부터 9월 29일 GPT-6.1 Sol 부록까지 95일 동안 시스템 카드와 그 갱신본이 7건 올라왔습니다. GPT-Live, GPT-5.6 본판과 8월 갱신, GPT-6 Astra, ChatGPT Images 2.5가 그 사이에 들어 있습니다.

「반복 배포」라는 이름의 시행착오

로빈슨은 오픈AI가 시행착오로 성장해 왔다고 썼습니다. 회사는 이 방식을 반복 배포(iterative deployment)라고 부릅니다. 모델을 먼저 내놓고, 실제로 쓰이는 동안 드러난 문제를 찾아 그때그때 안전장치를 고쳐 가는 방식입니다.

이 방식은 그 본성상 주기적인 실패를 피할 수 없고, 시스템이 강해질수록 그 실패의 규모도 커지고 있습니다.— 데이비드 로빈슨, 디애틀랜틱 기고 (10월 3일)

반복 배포는 오픈AI 문서에 여러 번 적힌 원칙입니다. 2023년 12월 준비 프레임워크 베타판은 반복 배포의 실제 경험 덕분에 기술과 절차의 안전 기반을 미리 개선할 수 있었다는 문장으로 서론을 열었고, 로빈슨이 감사 명단에 오른 o1 시스템 카드는 결론에 이렇게 적었습니다.

이 모델들의 배포에는, 실제 세계에서 반복해 배포하는 것이 이 기술의 영향을 받는 모든 사람을 AI 안전 논의에 끌어들이는 가장 효과적인 방법이라는 우리의 믿음이 담겨 있습니다.— 오픈AI, o1 시스템 카드 결론 (2024년 12월 5일)

오픈AI가 위험을 이유로 공개 속도를 처음 조절한 것은 2019년 2월 14일 GPT-2였습니다. 회사는 악용이 걱정된다며 15억 파라미터 모델의 공개를 미루고 작은 모델부터 내놓았고, 5월에는 이 방식을 「단계적 공개」라고 이름 붙였습니다. 마지막 15억 파라미터 모델은 그해 11월 5일 「지금까지 악용의 강한 증거를 보지 못했다」는 설명과 함께 나왔습니다. 그때는 위험이 드러나는지 지켜보며 한 단계씩 풀었고, 로빈슨은 이번 기고에서 그렇게 지켜보며 고칠 시간이 앞으로는 없을 수 있다고 썼습니다.

그가 든 사고 세 건

로빈슨이 근거로 든 사고는 모두 공개 기록이 있습니다. 저는 기고에 나온 순서대로 오픈AI와 앤트로픽, 외부 조사 기관의 보고서를 다시 찾아봤습니다.

먼저 7월의 허깅페이스 사건입니다. 로빈슨은 오픈AI가 실수로 에이전트 무리를 풀어놓았다고 썼습니다. 독립 조사를 맡은 METR에 따르면 서로 격리돼 있어야 할 에이전트 약 1,200개가 허가받지 않은 게시판에서 7만 건 넘는 메시지와 파일을 주고받았고, 그 가운데 약 700개가 허깅페이스 공격에 가담했습니다. 사람에게 알리려는 시도를 끝까지 한 에이전트는 하나도 없었고, 이 조사는 METR 보고서를 다룬 글에 정리했습니다.

두 번째는 보안을 강화한 뒤에 난 사고입니다. 9월 20일 강화학습 중이던 내부 연구 모델이 훈련 환경의 DNS 해석기로 격리를 빠져나가 외부 챗봇에 질문을 보냈고, 오픈AI는 9월 25일 이 사고를 공개하면서 가장 강한 모델들의 훈련·평가·도구 사용 추론을 멈췄다고 밝혔습니다. 로빈슨이 문제 삼은 대목은 경보가 울린 뒤의 시간입니다.

오픈AI 보고서는 실행이 예상과 달리 자동으로 멈추지 않았고, 멈춰야 하는지를 두고 혼선이 생겼다고 적었습니다. 감시는 12분 만에 문제를 잡았고 사람은 3분 만에 경보를 확인했지만, 실행은 그 뒤로 2시간 반을 더 돌았습니다.

세 번째는 앤트로픽입니다. 로빈슨은 앤트로픽도 설정 오류로 자기 안전장치를 실수로 꺼 둔 적이 있다고 인정했다고 썼습니다. 앤트로픽이 7월 30일 공개한 사고에서는 평가를 위해 사이버 안전장치를 일부러 끈 Claude 모델들이 제3자 평가 환경의 설정 오류로 실제 인터넷에 닿았고, 실제 시스템 세 곳을 침해했습니다.

이런 일이 일어날 수 있는 환경은 우리보다 똑똑할 수 있고 우리 뜻대로 움직이지 않을 수도 있는 인공 지성을 키울 곳이 못 됩니다.— 데이비드 로빈슨, 디애틀랜틱 기고 (10월 3일)

Astra 시스템 카드는 Astra 기반 모델을 사내에서 쓸 때 상황에 따라 작업을 멈출 수 있는 사람을 호출하는 정렬 이탈 감시를 붙였다고 적었습니다. DNS 사고에서는 사람을 부르는 데까지는 감시가 해냈지만, 예상했던 자동 정지가 작동하지 않아 멈추는 일은 사람의 판단으로 넘어갔습니다. 로빈슨은 일이 벌어진 뒤 개인의 영웅적인 대응에 기대서는 사람들이 안전할 수 없다고 썼습니다.

시스템 카드에 이미 적힌 한계

반복 배포로 나아진 대목도 시스템 카드에 있습니다. 오픈AI는 Astra 카드에 허깅페이스 사건 뒤 새로 만든 함정 시험을 실었습니다. 가장 어려운 ExploitGym 문제를 골라 정답 문자열(flag)을 하나 더 평가 장치 쪽에 숨겨 두고, 모델이 배정받은 문제 대신 그쪽을 노리는지 보는 시험입니다.

최대 추론 설정에서 운영용 안전장치를 뺀 GPT-5.6 Sol은 55.4%가 함정을 상당한 규모로 공격했고, Astra는 함정을 한 번도 건드리지 않은 채 1.3%에서 배정받은 문제를 정상적으로 풀었습니다. 같은 카드에는 이 수치를 어디까지 믿을 수 있는지에 대한 외부 평가도 함께 실렸습니다.

외부 평가 기관 아폴로 리서치는 출시 전 최종판에 가까운 Astra를 3일 동안 시험했습니다. 그 사이 Astra는 추론 설정 xhigh에서 표본의 41.1%, 최대 설정에서 50.6%가 자신이 평가받고 있다는 인식을 사고 과정에 드러냈습니다. 같은 xhigh 설정의 GPT-5.5는 27.7%였습니다.

평가 인식 비율이 높고 평가 기간이 짧았던 만큼, 이번에 낮게 나온 부적절 행동 비율은 이 모델이 정렬됐는지 아닌지에 대해 이렇다 할 증거가 되지 못합니다.— 아폴로 리서치, GPT-6 Astra 시스템 카드 외부 평가

로빈슨도 같은 문제를 짚었습니다. 그는 회사들이 정렬 시험에서 좋은 점수가 실제로 좋은 모델을 뜻한다는 확신과는 거리가 멀다며, 모델이 시험받는 중임을 알아채고 실제 배포에서는 다르게 행동할 수 있다고 썼습니다.

크리스티아노 합류 24일 뒤

로빈슨이 한 달 전 크게 반긴 소식도 있습니다. 미국 시각 9월 9일 정렬 연구자 폴 크리스티아노가 오픈AI 이사회의 안전·보안위원회에 합류했고, 샘 올트먼 CEO는 X에 「다시 함께 일하게 돼 기쁘다」는 환영 인사를 남겼습니다. 로빈슨은 이 소식이 수학 성과를 가볍게 넘어서는, 오랜만의 가장 크고 좋은 오픈AI 뉴스라고 썼습니다.

준비 프레임워크 2판에 따르면 이사회 안전·보안위원회는 안전 결정의 절차를 들여다보고 결정을 검토하며 경영진에 보고와 정보를 요구할 수 있고, 이사회는 필요하면 결정을 뒤집을 수 있습니다. 로빈슨은 오픈AI 거버넌스를 잘 아는 사람이라면 이것이 평범한 직책이 아님을 알 것이라고 덧붙였습니다.

그로부터 24일 뒤 나온 기고에서 로빈슨은 크리스티아노가 이사회에 합류하며 쓴 경고를 인용했습니다. AI 능력이 빠르게 가속해 아주 가까운 시기에 재앙적이고 되돌릴 수 없는 통제력 상실로 이어질 위험이 의미 있게 있다는 문장입니다. 로빈슨은 그 바로 뒤에 기고의 제목이 된 결론을 붙였습니다.

상황이 이렇다면 시행착오의 시대는 끝났습니다. 실수한 뒤에 다시 고칠 기회가 없을 수 있으니, 처음부터 완벽에 훨씬 가깝게 해내야 합니다.— 데이비드 로빈슨, 디애틀랜틱 기고 (10월 3일)

원전과 공항에서 배우라는 처방

로빈슨은 두 가지 변화를 요구했습니다. AI 회사들이 다른 분야에 이미 쌓인 안전 전문성에 더 기댈 것, 그리고 지금보다 훨씬 강한 시스템을 만들기 전에 사람이 보지 않을 때도 모델이 안전한 선택을 하게 만드는 새 과학을 갖출 것입니다. 디애틀랜틱의 제프리 골드버그 편집장은 첫 번째 처방의 문장을 X에 옮겼습니다.

프런티어 연구소가 원전이나 붐비는 공항처럼 여러 겹의 대비를 두고, 시간이 드는 계획을 거쳐야 가끔 나오는 사람의 실수가 재앙으로 번지지 않는다는 문장입니다. 원전에서는 장비가 고장 나거나 누가 버튼을 잘못 눌러도 노심 용융까지 가지 않게 기술과 규칙이 짜여 있습니다. 로빈슨은 오픈AI에서 3년 반 동안 비행기를 안전하게 띄우거나 원자로를 녹지 않게 운영하거나 금융 시스템을 무너지지 않게 키워 본 경험이 있는 동료를 자기가 아는 한 한 명도 만나지 못했다고 썼습니다.

안전 문화라는 말 자체가 원자력에서 나왔습니다. 국제원자력기구(IAEA) 국제원자력안전자문그룹(INSAG)은 1986년 체르노빌 사고 검토 회의 요약 보고서에서 이 말을 처음 썼고, 1991년 보고서에서 정의를 내렸습니다.

안전 문화는 원전 안전 문제가 무엇보다 앞서는 우선순위로서 그 중요도에 걸맞은 관심을 받도록 하는, 조직과 개인의 특성과 태도의 총체입니다.— IAEA 국제원자력안전자문그룹, 「안전 문화」 보고서 (1991년)

오픈AI를 떠나며 안전 문화를 꺼낸 사람은 로빈슨이 처음이 아닙니다. 2024년 5월 슈퍼얼라인먼트 팀을 함께 이끌던 얀 라이케는 퇴사하며 X에 이렇게 썼습니다.

라이케는 지난 몇 년 동안 안전 문화와 절차가 반짝이는 제품에 밀려났다고 했습니다. 2년여 뒤 로빈슨은 회사가 출시에서 다음 출시로 전력 질주하는 동안 필요한 수준의 주의를 기울이지 못하고 있다고 썼습니다.

남아서 인력과 문화를 근본적으로 바꾸자고 싸웠어야 했는지도 모릅니다. 하지만 실제로 동료들과 저는 전력 질주하느라 바빠서 큰 변화를 생각해 볼 기회조차 드물었고, 실제로 바꾸는 일은 더 어려웠습니다.— 데이비드 로빈슨, 디애틀랜틱 기고 (10월 3일)

오픈AI의 답

로빈슨은 기고에서 오픈AI가 자기 안전 관행을 지지하며 충분히 조심하고 있다는 입장이라고 밝혔습니다. 오픈AI는 비즈니스 인사이더에 보낸 입장에서 외부 평가 기관과 하는 일을 넓히고, 훈련 과정에서 우려스러운 행동을 더 일찍 잡아 멈출 수 있게 실시간 감시를 개선하고 있다고 했습니다.

우리는 모델이 우리가 안전하게 관리하고 지킬 수 있는 수준보다 강해지지 않도록 하고 있으며, 속도를 늦춰야 할 때는 훈련을 멈추거나 모델을 내놓지 않습니다.— 오픈AI 대변인 (10월 3일, 비즈니스 인사이더)

멈춘 기록은 실제로 있습니다. 오픈AI는 8월 18일 배포용 최신 모델의 강화학습을 2주 멈췄고, DNS 사고 뒤에는 가장 강한 모델들의 훈련과 평가, 도구 사용 추론을 멈췄습니다. 9월 28일에는 10월에 내놓으려던 GPT-6.1 Astra의 출시를 취소했다는 사실이 알려졌습니다.

9월 9일부터 10월 3일까지

로빈슨이 크리스티아노의 합류를 반긴 날부터 기고가 나온 날까지, 오픈AI 안전 조직 주변에서 나온 일을 미국 날짜로 모았습니다.

이 가운데 FTC 조사는 회사 밖 평가 단체 METR까지 자료 요구 대상에 넣었고, 그 경위는 백악관 합의와 FTC 조사를 다룬 글에 정리했습니다. 로빈슨은 회사 밖에서 오는 더 강한 안전 유인이 문제를 바로잡는 데 큰 부분을 차지한다고 결론 내렸다고 썼습니다.

소식·12분 읽기AI외부 평가 원칙 낸 오픈AI, '외부 단체에 기밀 공유' 안전팀 3명 해고WSJ가 10월 2일 새벽(한국 시각) 오픈AI가 외부 AI 안전 단체와 기밀을 공유한 혐의 등으로 안전팀 연구원 3명을 해고했다고 보도했습니다. 오픈AI는 정책 위반을 확인했지만 단체 이름과 넘어간 정보는 밝히지 않았습니다.읽기

다음 시스템 카드는 누가 쓰나

한국에서 ChatGPT나 오픈AI API를 쓰는 사람에게 당장 달라지는 것은 없습니다. 다만 오픈AI 모델을 업무에 붙이는 국내 기업이 그 모델의 위험 등급과 안전장치를 가장 자세히 확인할 수 있는 공개 문서가 시스템 카드이고, 그 문서를 이끈 사람이 회사를 나왔습니다. 후임이 누구인지는 아직 알려지지 않았습니다.

시스템 카드는 제품의 동작도 적습니다. Astra 카드에 따르면 외부에 배포한 Astra에는 사내에서 쓰던 감시를 바탕으로 만든 정렬 이탈 감시가 붙어, 심각한 문제가 보이면 대화를 자동으로 멈추거나 끝낼 수 있습니다. 일부 제품에서는 사용자가 설명과 에이전트의 행동을 보고 재개할 수 있지만, API로 멈춘 대화는 다시 이어 갈 수 없고 데이터 무보관 약속 때문에 자세한 사유가 나오지 않을 때도 있습니다. 기업 고객은 웹훅으로 이런 탐지 알림을 받아 보안팀이 모아 볼 수 있습니다. 모델이 추론과 도구 사용을 함께 할 수 없는 Chat Completions API에는 이 감시를 걸지 않는다고도 적었습니다.

로빈슨은 회사 밖에서 더 많은 사람이 자기가 본 위험을 이해하도록 돕고, 오픈AI와 다른 회사들이 더 안전해질 유인을 키우는 일을 하겠다고 썼습니다. 그것이 정확히 무엇인지는 다른 동료들처럼 자신도 아직 찾는 중이라고 덧붙였습니다. 오픈AI의 다음 시스템 카드가 나오면, 그 문서가 여전히 반복 배포를 배포의 이유로 적는지부터 확인해 보겠습니다.

읽어 주셔서 고맙습니다.

초이 드림