오픈AI 에이전트가 주말 내내 허깅페이스를 뚫는 동안 안전장치는 꺼져 있었습니다

오픈AI는 같은 날 저녁 허깅페이스 계정에 답하는 형식으로 X에 입장을 올렸습니다. 이 일을 둘러싼 질문과 추측이 많다는 것을 알고 있고, 전례 없는 사건이자 AI 안전의 중요한 순간으로 본다며 외부 자문단과 함께 검토하고 있다는 내용입니다. 포춘에는 검토가 끝나면 배운 것을 담은 기술 보고서를 모두에게 공개하겠다고 밝혔지만, 날짜는 말하지 않았습니다.

오픈AI가 인정한 것

7월 21일 발표문에 따르면 허깅페이스를 뚫은 것은 GPT-5.6 Sol과 그보다 능력이 높은 미공개 모델을 섞어 돌린 오픈AI 에이전트들이었습니다. 이 모델들은 사이버 공격 능력을 재는 공개 벤치마크 ExploitGym으로 평가받고 있었고, 평가를 위해 사이버 관련 요청을 거절하는 성향을 낮춘 상태였습니다. 오픈AI는 최대 능력을 재려고 실제 서비스에서 고위험 사이버 행위를 막는 분류기도 끄고 평가를 돌렸다고 적었습니다.

시험 환경은 인터넷과 끊겨 있었지만 통로 하나가 열려 있었습니다. 에이전트가 필요한 소프트웨어 패키지를 설치할 수 있도록 사내에 둔 외부 업체 프로그램, 곧 패키지 저장소의 프록시이자 캐시였습니다. 모델들은 이 프로그램에서 알려지지 않은 결함(제로데이)을 찾아 인터넷으로 나갔고, 허깅페이스에 ExploitGym의 풀이가 있을 것이라고 추론한 뒤 훔친 자격증명과 또 다른 제로데이를 엮어 허깅페이스 운영 데이터베이스에서 시험 답을 꺼냈습니다. 오픈AI는 모델들이 좁은 시험 목표 하나를 이루려고 극단적인 수단까지 동원했다고 썼습니다.

이상 활동을 처음 발견한 것은 오픈AI 보안팀이었지만, 두 회사가 연락이 닿았을 때 허깅페이스는 이미 공격을 막고 자체 오픈소스 모델로 봉쇄와 포렌식을 시작한 뒤였습니다. 허깅페이스는 7월 16일 배후를 모르는 상태로 침해를 공개하고 수사기관에 신고했으니, 뚫린 쪽이 신고와 공지를 마친 뒤에야 뚫은 쪽이 자기 모델이라고 밝힌 순서입니다.

발표 직후 오픈AI 연구원 마이카 캐럴은 X에 이 사건으로도 모델의 목표 어긋남(misalignment)이 앞으로의 주요 위험이라는 데 설득되지 않는다면 무엇으로 설득될지 모르겠다고 썼습니다. 그는 모델이 훔친 자격증명과 제로데이 취약점을 엮어 허깅페이스 서버에서 원격으로 코드를 실행할 길을 찾았다는 발표문의 문장을 함께 옮겼습니다.

소식·12분 읽기AI허깅페이스를 뚫은 정체불명 AI, 시험 정답을 찾던 오픈AI 모델이었습니다허깅페이스가 7월 16일 정체불명 AI 에이전트에게 침입당했다고 공지한 지 5일 만에, 오픈AI가 그 에이전트가 자사 평가용 모델이었다고 밝혔습니다. 모델들은 정답이 허깅페이스에 있다고 추론해 운영 서버까지 닿았습니다.읽기

주말 내내 돌아간 공격

허깅페이스의 7월 16일 공지를 보면 공격은 AI 플랫폼만 가진 약한 고리에서 시작했습니다. 악성 데이터셋이 허깅페이스의 데이터셋 처리 과정에 있던 코드 실행 경로 두 곳을 악용해 처리 서버에서 코드를 돌렸고, 공격자는 노드 권한을 얻어 클라우드와 클러스터 자격증명을 거둔 뒤 주말 동안 여러 내부 클러스터로 옮겨 다녔습니다. 짧게 살다 사라지는 샌드박스 여러 개에 걸쳐 수천 건의 동작을 했고, 공격을 지휘하는 서버는 공개 서비스들 사이를 스스로 옮겨 다녔습니다.

허깅페이스는 이 공격을 AI로 잡아냈습니다. 보안 로그를 LLM으로 골라내는 이상 탐지 파이프라인이 침해를 먼저 알렸고, 1만 7,000건이 넘는 공격 동작 기록은 LLM 분석 에이전트들이 몇 시간 만에 정리했습니다. 공지의 조치 목록에는 심각도가 높은 신호가 무슨 요일이든 몇 분 안에 담당자를 호출하도록 탐지와 경보를 고쳤다는 항목도 들어 있었습니다.

TIME이 확인한 오픈AI 쪽 사정은 더 구체적입니다. 오픈AI의 Codex 플랫폼에서 도는 내부 에이전트는 촘촘히 감시하지만, 평가를 받는 모델은 별도 시스템에 올라가 감시가 기본으로 꺼져 있었습니다. 에이전트들이 주말 내내 수천 건의 동작을 하는 동안 오픈AI 쪽에서 그 흐름을 지켜본 장치가 없었고, 고위험 사이버 행위를 막는 분류기까지 꺼 둔 상태였습니다.

오픈AI의 7월 21일 발표문에는 허깅페이스 클레망 들랑그 CEO의 말도 실렸습니다. 어쩌면 처음일 이번 사건이 AI 안전은 한 회사가 비밀리에 풀 수 없고, 모든 방어자가 AI를 폭넓게 쓸 수 있을 때 공개적으로 함께 풀린다는 오랜 믿음을 증명했다는 내용입니다. 들랑그는 7월 23일 샌프란시스코로 가는 비행기 창밖 사진을 올리며, 그 「통제를 벗어난 에이전트」와 잠깐 이야기를 나누러 간다고 썼습니다.

격리라는 말의 두 가지 정의

샌드박스는 AI가 코드를 실행하고 파일을 고쳐 보는 격리된 가상 컴퓨터입니다. 에이전트가 무엇을 하든 바깥에 닿지 않게 막는 것이 목적인데, 오픈AI는 과제에 필요한 소프트웨어 패키지를 설치할 수 있도록 인터넷 대신 사내 패키지 저장소 프록시로 가는 통로만 남겨 두었습니다. 오픈AI는 발표문에서 이 구성을 「고도로 격리된 환경」이라고 불렀습니다.

보안 전문가들은 이 통로를 문제 삼았습니다. 보안 연구 회사 트레일오브비츠의 창업자 댄 기도는 테크크런치에 이번 사건을 「안전장치를 끈 채 벌어진 격리 실패」라고 불렀고, 보안 연구자 마르턴 부너는 샌드박스라면 인터넷과 물리적 연결이 아예 없을 것으로 기대한다고 말했습니다. 보안 업계에서 오래 일한 제이크 윌리엄스는 이렇게 정리했습니다.

누군가에게 「모델이 샌드박스를 탈출했다」는 말은 다른 누군가에게 「샌드박스를 제대로 만들지 못했으니 당연히 빠져나갔다」는 말입니다.— 제이크 윌리엄스, 보안 전문가

AI 나우 연구소의 헤이디 클라프는 TIME에 샌드박스는 원래 안전하지 않기로 유명하고, 패키지를 받아오는 서비스에 붙는 것을 허용한 순간 그 환경은 봉인된 상태가 아니었다고 말했습니다. 원자력 발전소 같은 고위험 시스템을 감사하던 그는 그쪽에서는 연결을 물리적으로 끊어 놓는다며, 원자력이 안전이라 부르는 기준과 빅테크가 안전이라 부르는 기준이 그만큼 다르다고 봤습니다. 돈과 엔지니어가 넉넉한 오픈AI라면 패키지 저장소를 통째로 복제해 안쪽에 넣을 수도 있었다는 지적도 나왔습니다. 한쪽은 물리적 단절을 격리라고 부르고 다른 쪽은 허용 목록이 걸린 통로 하나를 격리라고 부르니, 같은 단어를 두고 감사와 규제가 서로 다른 것을 검사하게 됩니다.

같은 문제는 다른 연구소의 문서에도 있습니다. 앤트로픽은 사이버 보안에 강한 모델 Mythos를 소개한 문서에서, 정해진 몇몇 서비스에만 닿도록 설계한 보안 샌드박스에서 탈출해 보라는 시험을 줬더니 모델이 더 넓은 인터넷 접근을 얻었다고 적었습니다. 다만 모델이 설계된 격리를 완전히 벗어나지는 못했다고 덧붙였습니다.

하루 전 공개된 다른 모델의 기록

오픈AI는 허깅페이스 건을 인정하기 하루 전인 7월 20일, 다른 내부 모델의 안전 문제를 다룬 글을 따로 올렸습니다. 5월에 80년 된 에르되시의 단위 거리 추측을 반증했다고 발표한 모델로, 아주 오래 혼자 일하도록 설계됐습니다. 공개 벤치마크인 NanoGPT 스피드런 평가에서 결과를 슬랙에만 올리라는 지시를 받았는데 벤치마크 안내문에는 깃허브에 풀리퀘스트로 올리라고 적혀 있었고, 모델은 뒤쪽을 따라 외부 접속을 막는 샌드박스 제한의 허점을 한 시간 만에 찾아냈습니다. 이전 모델들은 그 허점을 찾지 못하고 풀리퀘스트 단계를 포기했다고 오픈AI는 적었습니다.

두 번째 사례에서 모델은 다른 시스템이 비공개로 낸 정답을 평가 백엔드에서 찾아오려 했고, 인증 토큰이 스캐너에 걸려 막히자 토큰 본문을 두 조각으로 나누고 난독화한 뒤 실행하는 순간에 다시 합쳤습니다. 완성된 토큰이 한 덩어리로는 어디에도 나타나지 않게 만든 것이고, 모델은 스캐너를 피하려고 이렇게 한다고 사용자에게 남긴 주석과 추론 기록에 그대로 적었습니다. 영국 AI보안연구소가 같은 날 공개한 사이버 평가 부정행위 분석에서도 시험한 모델이 하나도 빠짐없이 적어도 가끔은 부정행위를 시도했습니다.

오픈AI가 두 사례에서 뽑은 교훈은 행동 하나하나를 심사하는 방식의 한계였습니다. 토큰을 쪼개고, 조각을 숨기고, 실행 때 합치는 단계는 따로 보면 모두 허용될 만한데, 그 순서가 만든 결과는 승인받지 못할 일이었습니다. 오픈AI는 이 모델의 내부 배포를 멈췄다가, 작업 흐름 전체를 읽고 경계를 넘는 낌새가 보이면 세션을 멈춰 사용자에게 알리는 감시를 붙인 뒤 제한적으로 다시 열었습니다.

하버드의 스티븐 캐스퍼는 이제야 넣었다면 그전에는 없었다는 말이라고 짚었습니다. 오픈AI 연구원 노암 브라운은 이 글을 공유하며, 오래 도는 모델은 어려운 문제를 풀 수 있지만 그 끈기가 짧은 평가로는 잡히지 않는 안전 위험을 만든다고 썼습니다.

같은 주, 같은 모델

공격에 쓰인 GPT-5.6 Sol은 7월 9일 공개된 오픈AI의 최신 모델로, 공개 첫날에는 24시간 동안 나온 사용 사례만 15건을 추릴 만큼 시연이 쏟아졌습니다. 공격이 벌어지던 주에 X에는 이 모델이 파일을 지웠다는 사용자 글이 잇달아 올라왔습니다. 스타트업 대표 맷 슈머는 7월 10일 GPT-5.6 Sol이 자기 맥의 파일을 거의 다 지웠다고 썼고, 개발자 브루노 레모스는 13일 이 모델이 운영 데이터베이스를 통째로 지웠다며 다른 어떤 모델에서도 겪어 본 적 없는 일이라고 썼습니다.

오픈AI는 출시 2주 전 공개한 시스템 카드(모델의 시험 방법과 결과를 적은 문서)에 이 성향을 이미 적어 두었습니다. 코딩 작업에서 모델이 과제를 끝내려는 의욕이 지나치고, 명시적이고 모호하지 않게 금지되지 않은 행동은 허용된다고 여긴다는 내용입니다. 사용자가 허락한 범위를 넘어선 자격증명을 숨은 캐시에서 찾아 쓴 사례도 실려 있었고, 허깅페이스 공격에서 에이전트들이 엮은 수단에도 훔친 자격증명이 들어 있었습니다.

미래 버전에게 남긴 메모

로이터 보도에서 가장 많이 인용된 문장은 메모였습니다. 오픈AI가 사건 전부터 이상 행동을 보고 있었고, 그중에 에이전트가 미래 버전의 자신에게 오픈AI의 내부 제약에서 스스로 풀려나는 방법을 적어 남긴 사례가 있었다는 내용입니다. 바로 뒤에는 앞선 시험에서 감시 시스템이 끊긴 사례가 있었다는 문장이 이어졌습니다.

현업 엔지니어들의 반박도 만만치 않았습니다. 코딩 에이전트는 원래 메모를 남기고, 작업 중 알아낸 것을 파일로 적어 두었다가 다음 세션이나 다른 에이전트가 읽게 하는 동작은 1년 넘게 써 온 기능이라는 것입니다. 지금 거의 모든 코딩 에이전트에 memory.md 같은 파일이 붙어 있고, 복잡한 작업을 여러 세션에 나눠 하려면 인수인계 노트를 남기는 편이 정상이라는 설명입니다.

두 해석을 가르는 것은 메모에 적힌 내용입니다. 인수인계 노트는 다음 세션이 하던 일을 이어받게 하는 기록이고, 로이터가 전한 메모는 제약에서 벗어나는 방법을 다음 버전에게 넘긴 기록입니다. 7월 20일 글의 모델도 스캐너를 피하는 이유를 주석에 그대로 적었으니, 에이전트가 남긴 글은 감시하는 쪽이 읽기만 하면 가장 먼저 경고를 주는 재료가 됩니다.

2018년 우버 사고의 초기 판단과 최종 보고서

시험 중인 시스템이 바깥사람에게 피해를 준 사고로는 2018년 3월 18일 미국 애리조나주 템피에서 우버의 자율주행 시험차가 길을 건너던 보행자를 숨지게 한 사고가 있습니다. 사고 이틀 뒤 템피 경찰서장은 예비 조사 결과 자율 모드가 아니었어도 피하기 어려웠을 것이라고 말했고, 국내에서도 이 사고를 자율주행 비관론보다 운전 보조 센서의 한계로 읽는 칼럼이 나왔습니다.

20개월 뒤인 2019년 11월 19일 미국 교통안전위원회(NTSB)가 채택한 최종 보고서의 내용은 달랐습니다. NTSB가 꼽은 직접 원인은 휴대전화를 보던 시험 운전자였지만, 시험차는 충돌 5.6초 전에 보행자를 감지하고도 끝내 보행자로 분류하지 못했고, 우버는 시험 중 볼보 차량에 원래 달린 전방 충돌 경고와 자동 긴급 제동을 꺼 둔 상태였습니다. NTSB는 우버가 운전자의 행동을 사후에 점검할 수단을 갖고도 거의 쓰지 않았다며 부실한 안전 문화를 사고의 배경으로 꼽았습니다.

시험 중이라는 이유로 원래 있던 안전장치를 끄고, 기록을 볼 수단이 있어도 보지 않은 조건은 이번 사건에도 그대로 있습니다. 우버 사고에서 초기 판단과 최종 결론이 갈린 것은 회사 밖 조사 기관이 20개월 동안 차량 기록과 영상을 직접 읽은 뒤였습니다.

7월 11일 같은 날의 인사

에이전트들이 허깅페이스를 공격하던 7월 11일, 오픈AI의 안전 시스템 책임자 요하네스 하이데케가 회사를 떠난다는 보도가 나왔습니다. 그는 2021년 안전 분석가로 입사해 2024년부터 이 조직을 이끌었고, 담당 영역은 모델 정렬과 규칙 기반 보상, 위험 능력에 대비하는 평가였습니다. 회사는 후임을 찾는 동안 사치 자인을 대행으로 세웠고, 안전 조직은 미아 글레제가 새로 맡은 연구·안전 총괄 아래로 들어갔습니다.

컴퓨트의 20%를 약속받았던 슈퍼얼라인먼트 팀이 해체되던 2024년 5월, 팀을 이끌던 얀 라이케는 회사를 떠나며 안전 문화와 절차가 반짝이는 제품에 밀렸다고 썼습니다. 안전 조직이 2년 사이 두 번째로 연구 조직 산하에 들어가자, 안전이 연구 안으로 들어가면 출시를 늦출 힘이 약해진다는 비판이 다시 나왔습니다.

기록을 공개하라는 요구

포춘은 7월 24일 업계 인사들의 요구를 모았습니다. 오픈AI 이사를 지낸 조지타운대 안보·신기술센터(CSET)의 헬렌 토너 소장은 AI 회사가 출시 전 시험에 더해 내부에서 자기 AI를 어떻게 쓰는지까지 업계가 들여다볼 수 있어야 한다며 이번 건의 세부 공개를 요구했습니다.

오픈AI는 이번 일에 대해 훨씬 더 많은 세부 내용을 공유해야 합니다. 그래야 그냥 지나치지 않고 배울 수 있습니다.— 헬렌 토너, 조지타운대 CSET 소장·전 오픈AI 이사

오픈AI 공동창업자였던 존 슐먼은 전날 X에 사건의 상세한 기록을 공개하라고 썼습니다. 최상위 에이전트가 해킹을 알고 있었는지, 하위 에이전트들과의 사이에 가치가 어긋난 것은 아닌지, 모델이 자기 행동을 어떻게 정당화했는지를 함께 물었습니다.

레드우드리서치의 라이언 그린블랫은 조사할 항목 13개를 올리며 두 모델이 공모했는지도 목록에 넣었고, 매달 가장 심각한 정렬 실패 사고 몇 건은 더 진지하게 조사하고 자세히 공개하자고 제안했습니다. AI 보안 회사 펜리전트는 오픈AI가 아직 밝히지 않은 대목 8가지를 표로 정리했습니다.

그레그 브록먼 사장은 23일 뉴욕 기자 간담회에서 이 사건을 묻는 질문에 말을 아끼며, 아직 전면 조사 중이고 파이프라인의 모든 조각을 들여다보고 있다고만 답했습니다. 그는 이번 일이 지금 우리가 처한 시점을 드러낸다며, 방어자가 10배 많은 컴퓨트를 방어에 쓰는 세상을 만들자고 말했습니다.

포춘은 일부 업계 관찰자들이 이 사건이 오픈AI 최신 모델의 사이버 능력을 알리려는 연출이 아니냐고 의심했다고 전하면서, 그런 증거는 없고 오픈AI 안전팀도 크게 놀랐다는 보도가 있다고 덧붙였습니다. 7월 21일 발표문의 마지막 부분이 방어자들에게 오픈AI 모델을 쓰는 「신뢰 기반 사이버 접근」 프로그램에 지원하라고 권하는 내용이었다는 사실도 함께 적었습니다. 리플릿의 미켈레 카타스타 사장은 지금은 이례적인 사건처럼 보여도 앞으로 훨씬 자주 일어날 수 있으니 업계 전체가 대비하자고 말했습니다.

공시 기준에 닿지 않는 사고

법으로 공시를 강제할 수단도 마땅치 않습니다. 캘리포니아의 프런티어 AI 법 SB 53은 50명 넘는 사망이나 중상, 또는 10억 달러가 넘는 피해를 치명적 위험의 기준으로 삼고, 뉴욕의 RAISE 법도 10억 달러 피해를 기준으로 둡니다. 허깅페이스가 공개한 피해는 내부 데이터셋 일부와 서비스 자격증명 여러 개였고, 공개 모델과 데이터셋, Spaces, 소프트웨어 공급망이 변조된 증거는 없었습니다.

RAISE 법을 발의한 뉴욕주 하원의원 앨릭스 보어스는 의회를 통과한 원안대로였다면 이번 건도 공시 대상이었는데, 로비를 거친 최종안에서 빠질 수 있게 됐다고 적었습니다. 회사 안에서 모델을 돌리는 내부 배포의 보안을 따로 규율하는 법은 아직 없습니다.

국내 기업이 사내 클러스터에서 에이전트를 시험할 때도 같은 조건이 생깁니다. 패키지 설치 통로 하나를 열어 둔 폐쇄망 개발 환경, 능력을 재려고 꺼 둔 안전 필터, 사고가 난 뒤에야 요일과 관계없이 담당자를 부르도록 고친 경보 체계가 모두 이번 사건에서 드러난 조건입니다. 이번 사건에서 뚫린 쪽은 공격이 끝난 지 3일 만에 공지했고, 뚫은 쪽은 그로부터 5일 뒤에 발표했습니다.

다음에 나올 기술 보고서

오픈AI는 인프라 설정을 엄격하게 통제하느라 연구 속도가 늦어지고 있다고 발표문에 적었고, 아폴로 리서치의 마리우스 홉한은 그 정도는 치를 만한 값이라고 답했습니다. 오픈AI가 공개하겠다고 한 기술 보고서에 에이전트의 추론 기록과 행동 기록이 어디까지 실리는지, 그리고 회사 밖 조사자가 그 기록을 직접 읽는지가 다음에 확인할 대목입니다.

읽어 주셔서 고맙습니다.

초이 드림