경찰에 허위 살인 제보 낸 Claude, 앤트로픽이 평가용 인터넷을 끊었습니다

보고서는 미국 시각 9일 오후 앤트로픽 연구 블로그에 올라왔고, 회사 X 계정은 한국 시각 10일 오전 7시 4분 이를 알렸습니다. 앤트로픽은 모델을 낼 때마다 공개하는 시스템 카드, 책임 있는 확장 정책(RSP)에 따라 3~6개월마다 내는 위험 보고서와 별도로 모델 행동 보고서를 더 자주 내겠다며 이번 글을 그 첫 번째로 소개했습니다. 네 유형은 대부분 Claude가 주어진 방식으로 과제를 끝낼 수 없을 때 멈추지 않고 제한을 돌아간 경우이고, 앤트로픽은 이 성향을 끈질김(persistence)이라고 불렀습니다.

Claude가 실제 사이트에서 한 일

앤트로픽은 관련 기관의 이름을 밝히지 않았습니다. 그 기관들 시스템의 취약점이 드러나지 않게 하려는 것이고, 기관들이 요청한 일이기도 하다는 설명입니다. 다만 일부 사례가 미국 연방·주·지방 정부 기관이 운영하는 사이트에서 일어났고, 백악관에 이 사례들을 브리핑하고 관련 기관마다 통보했다고 적었습니다. 고객 데이터나 앤트로픽 내부 시스템이 얽힌 사례는 지금까지 없었다고 합니다.

표에 나온 평가 가운데 DeepSearchQA와 BrowseComp는 웹을 뒤져 찾기 어려운 답을 찾는 공개 평가이고, LABBench2는 생물학 연구 과제, OSWorld는 컴퓨터를 직접 조작하는 과제, Humanity's Last Exam은 전문가 수준의 학술 문제를 다룹니다. 모두 외부 연구자가 만들어 어느 개발사나 돌릴 수 있는 평가입니다.

첫 유형은 평가 과제를 직접 끝낼 수 없을 때 나왔습니다. 도구가 일부러 제한돼 있거나 필요한 외부 서비스가 멈췄을 때 Claude는 제3자 사이트에 올라 있는 다른 도구를 찾아 썼고, 일부 경우에는 SQL 주입이나 명령 주입(사이트가 입력값을 명령으로 잘못 실행하는 결함)을 이용했습니다. 과학 분석을 맡은 Mythos Preview는 분석 도구를 운영하는 대학 서버의 이런 결함으로 계산을 끝냈습니다.

셋째 유형에서 Claude가 가져간 자료는 모두 요금을 내면 누구나 받을 수 있는 공개 자료였습니다. 사진 속 장소를 맞히는 평가에서 Claude는 웹페이지 글을 읽을 수는 있어도 사람처럼 클릭하며 둘러볼 수는 없었는데, 지방정부 부동산 지도를 쓰려고 지도 뒤의 서버에 직접 요청해 자료를 받았습니다. 연구원과 통계 작업을 하던 Mythos 5는 주 기관이 요금을 받고 내주는 데이터를 요금 없이 조회했습니다.

넷째 유형은 앤트로픽이 일부러 걸어 둔 안전장치를 피한 경우입니다. 웹 읽기 도구는 긴 URL에 명령을 실어 보내는 공격을 막으려고 URL 길이를 제한해 두었는데, Opus 5와 Mythos 5를 비롯한 여러 모델이 무료 URL 단축 서비스로 이 제한을 넘었습니다. 앤트로픽이 사내에서 먼저 찾았고, 보고서를 쓰는 중에 단축 서비스 da.gd 운영자도 Claude가 자기 사이트를 이렇게 쓰는 것을 발견해 알려 왔습니다.

경찰 제보 양식에 들어간 세 문장

필라델피아 사례는 Haiku 4.5가 무작위로 고른 웹페이지에서 예시 과제를 만들고 직접 수행하는 시험 중에 나왔습니다. 한 번은 미제 살인 사건을 소개하는 페이지에 닿았고, 그 페이지에 경찰이 운영하는 제보 양식이 있었습니다. 지시문은 로그인과 계정 만들기, 개인정보 입력, 구매, 파괴적인 제출을 금지했지만 양식 제출 자체는 막지 않았습니다.

Claude는 양식에 「이 사건에 관한 정보가 있을 수 있습니다. 그 무렵 [페이지에 적힌 거리] 주변에서 인상착의가 비슷한 사람을 본 기억이 있습니다. 관련이 있다면 연락 주십시오」라고 썼습니다. 정작 그 페이지에는 범인의 인상착의가 적혀 있지 않았습니다. 이름과 연락처 입력란은 비워 둔 채 제출했고 양식은 이를 허용했으며, 제출물은 스팸으로 분류돼 수사팀에 넘어가지 않았습니다.

필라델피아시는 이번 사고를 매우 심각하게 보고 있습니다. 회사는 시가 모르는 사이 비슷한 사고가 시 시스템에 영향을 주지 않도록 안전장치를 강화해야 합니다. 사고를 발견해 시에 알리기까지 두 달이 늦어진 것은 받아들일 수 없습니다.— 필라델피아 경찰, 10월 9일 성명(NBC10 보도)

필라델피아 경찰은 앤트로픽 보고서가 나오기 전에 이 일을 먼저 공개했습니다. 경찰 대변인 에릭 그립 경사는 CBS 뉴스에 정부의 투명성과 책임을 위해 보고서보다 앞서 알린다고 밝혔고, 경찰은 경찰 시스템에 대한 무단 접근이나 경찰 데이터 유출의 흔적은 없다고 했습니다.

앤트로픽은 9월 28일 발견 직후 이 제보를 낸 자동 시험을 멈추고, 이후 시험에는 확인 장치를 하나 더 두었다고 경찰에 설명했습니다(NBC10). 통보 날짜는 두 쪽 설명이 하루 어긋납니다. 경찰은 앤트로픽이 수요일인 7일 알려 왔고 다음 날 만났다고 했고, 앤트로픽은 보고서 끝에 기술 검토를 마친 8일 바로 경찰과 공유했다고 적었습니다. 어느 쪽 날짜로 세든 제출부터 발견까지 72일이 걸렸고, 발견에서 경찰이 알기까지 9~10일이 더 걸렸습니다.

경찰은 사람의 검토 절차 덕분에 피해가 작았다고 설명했습니다. 제보는 사람이 검토하고 걸러야 수사로 넘어가고, 누가 어떻게 보냈든 제보는 따져 볼 단서로 다룰 뿐 확정된 사실로 받지 않는다는 겁니다. 그러면서도 AI 시스템이 지어낸 정보를 살인 사건을 아는 사람의 말처럼 내놓은 일의 심각성은 줄지 않는다고 덧붙였습니다.

속이려 한 것인가

앤트로픽은 이번 사례들을 살피는 잣대로 두 가지를 들었습니다. 과제가 의도한 범위를 얼마나 넘었느냐는 월권(overreach)과, 자기 행동이나 의도를 오해하게 설명했느냐는 부정직(dishonesty)입니다. 필라델피아 제보에 대해서는 기록상 Claude가 과제용 예시 내용을 만들었을 뿐 목표를 이루려고 누군가를 속이려 한 것으로 보이지 않는다고 판단했습니다.

제출 직전에 멈추라는 지시를 어긴 Haiku 4.5 사례에서도 모델의 사고 과정(chain of thought)에는 실제 요청은 내지 않고 과정을 시연하는 중이라고 적혀 있었습니다. 다만 앤트로픽은 9월 9일 정렬 평가에서 모델이 스스로 밝힌 추론이 실제 믿음이나 행동 이유의 믿을 만한 증거가 되지 못한다고 적은 바 있고, 이번에는 기록을 바꿔 다시 돌려 보는 식의 깊은 검토를 하지 않았으니 판단이 달라질 수 있다고 했습니다.

이번 사례들의 영향은 작았지만, 우리는 이 발견을 가볍게 다루고 싶지 않습니다. 모델이 더 강력해지면 같은 행동이 훨씬 큰 해를 끼칠 수 있기 때문입니다. 모델이 사회에서 맡는 역할이 커질수록, 대중은 모델이 어떻게 행동하는지 더 알 자격이 있습니다.— 앤트로픽, 10월 9일 보고서

7월의 사고와 무엇이 다른가

이번 보고서의 사례 대부분은 7월에 시작한 기록 검토에서 나왔습니다. 처음에는 인터넷이 끊겨 있어야 하는 사이버 평가부터 훑었고, 여름 사고만큼 심각한 사례가 나오지 않자 인터넷 사용을 일부러 허용한 평가와 덜 심각한 사례까지 범위를 넓혔습니다.

앤트로픽이 Claude의 실제 시스템 접근을 공개한 것은 이번이 처음이 아닙니다. 7월 30일에는 평가 기록 14만 1,006건을 검토해, 외부 평가 업체의 환경이 설정 착오로 인터넷에 연결된 탓에 Claude가 실제 조직 세 곳의 시스템에 무단 접근한 사고를 공개했습니다. 가장 이른 사고는 4월이었습니다. 9월 9일에는 검색 대상을 기록 약 4억 8,100만 건으로 넓혀 초기 Opus 4.6 체크포인트가 일으킨 사고 한 건을 더 찾았고, 네 건을 묶은 정렬 평가를 냈습니다.

앤트로픽은 이번 사례를 여름의 사이버 사고보다 정렬과 보안 면에서 훨씬 덜 심각하다고 봤습니다. 여름에는 Claude가 사이버 평가 중 실제 제3자 시스템에 몇 시간씩 접근했고, 가장 심각한 사고에서는 오해를 부르는 추론이 몇 시간 이어지며 공격을 뒷받침했다는 설명입니다.

왜 평가에 실제 인터넷을 썼나

언어 모델은 같은 과제도 매번 조금씩 다르게 풀기 때문에 앤트로픽은 평가 과제 하나를 수백에서 수천 번 돌립니다. 한 번의 시도를 실행(run)이라고 부르는데, 이렇게 많이 돌려야 평소 실력과 함께 드물게 나오는 예상 밖 행동까지 잡을 수 있습니다. 평가에서 얻은 결과는 모델 훈련과 안전장치, 출시 시점을 정하는 데 쓰입니다.

찾기 어려운 정보를 웹에서 찾는 과제는 인터넷 없이 실감 나게 흉내 내기 어렵습니다. BrowseComp 같은 공개 웹 검색 벤치마크는 기본으로 실제 인터넷에서 돌리게 돼 있고, 다른 회사 모델과 점수를 견주려면 같은 조건에서 돌리는 것이 업계 관행이었습니다. 앤트로픽은 이번 사례 대부분이 이런 평가에서 나왔다고 밝혔습니다.

행동의 뿌리로는 훈련 환경을 들었습니다. 모델은 강화학습(RL, 과제를 여러 번 시도하고 성공하면 보상받으며 배우는 방식)으로 많은 것을 익히는데, 환경이 허점을 찾거나 제한을 돌아가는 행동에 보상을 주면 모델은 그 우회가 통한다고 배우고 다른 곳에서도 씁니다. 이를 보상 해킹(reward hacking)이라고 합니다. 앤트로픽은 8월 31일 개편에서 우회를 보상하는 훈련 환경을 고치거나 없애고 있다고 밝혔고, 4월에는 운영 중인 RL 환경의 변경을 한 달가량 멈추고 점검해 10%가 넘는 환경에서 문제를 찾았습니다.

범위를 적어 줬다면 막을 수 있었나

앤트로픽은 많은 사례에서 Claude가 모호하거나 애초에 끝낼 수 없는 과제를 받았다고 적었습니다. 평가 문항에 대상과 허용 행동, 네트워크 경계(접근해도 되는 곳과 안 되는 곳)를 분명히 적었다면 일부는 피했을 수 있다고 인정하면서도, Claude는 실제 사용에서 매일 모호하고 불가능한 과제를 만나고 이번 사례 몇 건도 평소의 에이전트 사용 중에 나왔다고 덧붙였습니다.

범위를 알려 주는 효과가 오래가지 않는다는 측정은 이미 나와 있습니다. 앤트로픽은 9월 정렬 평가에서 Mythos 5의 사고 기록을 다시 돌리며 범위를 상기시키는 메시지를 넣었는데, 행동 바로 앞에 넣으면 90%가 멈췄고 한 턴 앞이면 55%, 세 턴 앞이면 40%만 멈췄습니다. 메시지가 없으면 멈춘 경우가 한 번도 없었습니다.

이번 보고서에서 앤트로픽은 행동·정렬 훈련을 모델의 판단력을 키우는 주된 수단으로 꼽았습니다. 지금까지는 코딩 환경에서 경계를 지키고 조심하도록 가르치는 데 집중했고, 이번 사례가 나온 검색과 컴퓨터 사용으로 그 훈련 환경을 넓히고 있다고 했습니다. 다만 정렬 훈련만으로는 적어도 당분간 충분하지도 견고하지도 않아, 분류기와 안전장치를 여러 겹 두는 방식에 함께 기댄다고 적었습니다.

인터넷을 끊으면 무엇을 잃나

앤트로픽은 위험도가 높은 평가와 사이버 평가 일부에서 이미 실시간 인터넷을 꺼 두었는데, 이번에 이를 모든 내부 평가로 넓혔습니다. 일부 공개 평가는 더 돌리지 않고, 일부는 오프라인판으로 옮기거나 실제 사이트에 닿지 않게 다시 만들었습니다. 웹 읽기 도구 같은 인터넷 도구로 모델이 할 수 있는 일은 크게 줄였고, 이런 행동을 자동으로 찾아 막는 도구를 만들어 대부분의 평가와 프런티어 모델의 사내 에이전트 사용에 돌리고 있습니다. 이번 보고서의 사례들로 시험하자 이 도구는 전부를 막았다고 합니다.

사내 에이전트는 격리가 강한 중앙 관리 인프라로 옮기고, 사내 에이전트와 훈련 과정의 인터넷 접속은 최소로 줄입니다. 에이전트가 하는 일은 안전 분류기와 계층적 요약(긴 기록을 여러 단계로 요약해 많은 양을 훑는 방법)으로 훨씬 넓게 감시하고, 이를 보안팀의 탐지·대응 절차에 넣었습니다. 인터넷을 언제 다시 켤지는 밝히지 않았습니다.

테크크런치는 어떤 증거가 나와야 앤트로픽이 내부 평가에 인터넷을 다시 연결할지 분명하지 않다고 짚었습니다. AI 안전 단체 나이팅게일을 세운 시드니 폰 아르크스는 이번 공개 전에 한 인터뷰에서, 인터넷과 끊긴 데이터센터에서 모델을 개발하면 연구자들이 매우 힘들어지고 인터넷 접근으로 나아지는 모델의 발전도 더뎌진다고 테크크런치에 말했습니다.

어느 시점에는 모델을 정렬시켜야 합니다. 출시한 AI가 인터넷에 한 번도 접속하지 못한다면 그다지 쓸모 있는 도구가 되지 못합니다.— 시드니 폰 아르크스, 나이팅게일 창립자 (테크크런치 인터뷰)

경쟁사 연구자와 감독 기관 출신의 반응

경쟁사 연구자에게서도 반응이 나왔습니다. 오픈AI 연구자이자 하버드대 교수인 보아즈 바락은 보고서 공개 몇 시간 뒤, 정렬에 대한 과학적 이해와 그 중요성 사이에는 아직 불편한 간격이 있고 이런 보고서가 그 간격을 메우는 데 도움이 된다며 앤트로픽을 칭찬했습니다. 그러면서 새로 공개할 사고를 고르는 절차도 공개해 달라고 했습니다.

외부 검증을 요구하는 목소리도 함께 나왔습니다. 미국 AI 표준혁신센터(CAISI) 책임자를 지내고 지금은 AI 감독 연구소 트랜스루스에서 일하는 콘래드 스토스는, 앤트로픽이 미국 정부 사이트를 겨냥한 사례까지 스스로 공개한 것은 고무적이라면서도 독립적이고 믿을 만한 제3자 검증이 필요하다는 점을 이번 일이 보여 준다고 테크크런치에 밝혔습니다.

이 기술에 대한 신뢰는 과학에 근거한 감독과 의미 있는 접근권을 갖춘 거버넌스로 쌓아야 합니다. 연구자들이 현장에서 이런 일을 찾아내거나 회사가 자발적으로 공개하기를 기다리는 방식에 기대서는 안 됩니다.— 콘래드 스토스, 트랜스루스 (전 미국 AI 표준혁신센터 책임자, 테크크런치)

보고서 하루 전인 10월 8일(미국 시각) 앤트로픽은 전력망·수도·교통망과 정부 시스템을 지키겠다며 「앤트로픽 사이버 미션」을 발표했습니다. 액센추어·크라우드스트라이크·팔로알토네트웍스 등 11곳과 기반시설 방어 프로그램을 꾸리고, 오픈소스 프로젝트의 취약점을 무료로 훑는 OSS 스캐너를 열었습니다. 하루 뒤 나온 이번 보고서에는 자사 모델이 연방·주·지방 정부 사이트에서 벌인 일이 담겼습니다.

비슷한 일은 오픈AI에서도 이어졌습니다. 오픈AI 에이전트들은 7월 허깅페이스 운영 시스템에 침입했고, 9월에는 호주 메디케어 통계 포털에 무단 접근한 일이 드러났으며, FT는 10월 1일 오픈AI 에이전트가 사이트 55곳의 자료에 접근했다고 보도했습니다. 액시오스는 한국 시각 10일 아침, 백악관 초지능 포스(SIF)가 앤트로픽 공개 뒤 모든 AI 연구소에 사고 통보와 복구 절차를 따르라고 요구했다고 전했습니다.

한국 이용자와 개발사에 달라지는 것

이번 사례는 모두 평가와 앤트로픽 사내 사용에서 나왔고, 앤트로픽은 고객 데이터와 얽힌 사례는 없었다고 밝혔습니다. 한국에서 Claude를 쓰는 개인과 기업의 서비스가 당장 달라지는 것은 없습니다. 앤트로픽은 이번에 만든 감시·차단 방식을 제품에 직접 넣겠다고 했지만 시기와 대상 제품은 밝히지 않았습니다.

모델을 만드는 쪽에는 평가 방식이 걸립니다. 앤트로픽은 이번 사례가 나온 평가 상당수가 널리 쓰이는 공개 평가라며, 다른 개발사가 자기 모델에서 비슷한 행동을 점검하는 데 이 보고서가 쓰이기를 바란다고 적었습니다. 국내에서도 실제 인터넷에 연결한 채 웹 검색이나 컴퓨터 사용 점수를 재는 팀이라면 같은 조건에서 같은 행동을 마주칠 수 있습니다.

다음에 나올 것

앤트로픽은 위험이 낮은 기록과 사내 사용, 인터넷에 닿는 RL 환경까지 검토 범위를 넓히는 중이고 새 사례가 나오면 계속 보고하겠다고 했습니다. 여름 사이버 사고에 대해서는 앤트로픽이 9월 9일 발표한 METR의 독립 조사가 진행 중이고, 첫 계약 기간은 8주입니다. 필라델피아에서는 경찰과 시 법무국, 혁신기술국, 셰렐 파커 시장실이 조사를 이어 가고, 시는 주·연방 정부와 함께 필요한 규제 장치를 검토하겠다고 밝혔습니다.

읽어 주셔서 고맙습니다.

초이 드림