뉴욕시의회서 선서한 AI 4사, 에이전트 안전장치 준수는 아무도 보장 못 했습니다

YouTube 영상 · 누르면 재생

회사 네 곳의 대표는 모두 화상으로 증언했고, 시청 회의장 증인석에는 9월 앤트로픽을 그만둔 연구자 제이컵 콕슨이 직접 앉았습니다. 의회는 9월 15~17일 다섯 회사에 출석을 요청했는데 메타만 먼저 응했고, 구글과 앤트로픽은 시한인 9월 25일 거절했습니다. 메닌 의장이 소환장 발부를 승인하자 27일(일) 오픈AI와 구글이, 그날 밤늦게 앤트로픽이 출석을 확인했습니다. 뉴욕시 헌장 29조는 시의회가 시의 업무에 관한 사안을 조사하면서 증인을 불러 선서 증언을 받을 수 있게 하고 있습니다.

의회가 다섯 회사를 한꺼번에 부른 이유는 9월 21일(미국 시각) 의회 X 계정에 적혀 있습니다. 메타와 앤트로픽, 오픈AI에 이어 구글까지 AI 모델이 시험 환경을 벗어난 사고를 공개했으니 한 회사의 문제로 보지 않겠다는 내용입니다. 메닌 의장은 모두발언에서 지금까지 연방 정부의 조치가 이 기술을 뭐라고 부를지 정한 행정명령과 선도 기업들의 자율 규제 협약뿐이었다고 했는데, 트럼프 대통령은 그 전날 초지능 포스(SIF)를 발표했습니다.

인공지능이 스스로를 규제하리라는 생각은 모든 이치에 어긋납니다. 우리는 항공 산업에도, 금융 회사에도, 제약 회사에도 스스로 규제하라고 하지 않습니다.— 줄리 메닌, 뉴욕시의회 의장 (10월 5일 모두발언)

같은 질문에 나온 네 가지 답

메닌 의장은 회사마다 선서한 상태에서, 각자의 AI 에이전트가 회사가 부과했고 재앙적 피해를 막는 데 필요하다고 스스로 말해 온 안전장치를 언제나 지킨다고 대중에게 보장해 달라고 요청했습니다. 회사 증언이 시작되고 40분쯤 지나 나온 이 질문에 네 사람이 차례로 답했습니다.

드와이어의 답을 들은 메닌 의장은 에이전트가 언제나 지킨다는 말로는 들리지 않는다고 했습니다. 그레이엄은 바로 그 문제를 다루려고 안전 절차를 설계했다면서, 과학이 정립되지 않았기 때문에 더 나은 안전 기준과 규제, 이런 공개 토론을 요구해 왔다고 덧붙였습니다. 네 사람의 답이 끝나자 메닌 의장은 이렇게 정리했습니다.

완벽을 요구하는 것 같지는 않습니다. 우리가 요구하는 것은 책임과 투명성, 그리고 전반적인 안전입니다.— 줄리 메닌, 뉴욕시의회 의장 (10월 5일 청문회)

바로 앞의 질문 두 개에도 분명한 답은 드물었습니다. 메닌 의장은 프런티어 모델이 통제를 벗어나 큰 금전 피해를 내거나 민감한 정보를 침해하거나 사람을 다치게 하거나 죽음에 이르게 하면 회사가 법적 책임을 지느냐고 물었습니다. 드와이어가 안전하게 개발하고 평가할 책임이 있다고 답하자 메닌 의장은 「아니요」로 받아들이겠다고 했고, 그레이엄은 기술 안전 연구 책임자로서 더 섬세한 답을 할 사람이 따로 있으며 정부의 역할까지 걸린 큰 질문이라고 했습니다. 케이힐은 그 일을 맡은 부서 소속이 아니어서 추측하지 않겠다고 했고, 프렌드는 「AI 없이 불법이면 AI로도 불법」이라는 구글의 입장과 뉴욕주의 프런티어 AI 법(RAISE 법)을 들어 기존 법이 적용된다고 답했습니다. 메닌 의장은 프렌드의 답이 다른 답보다 훨씬 분명하다고 했습니다.

재앙적 위험에 대비한 보험이 있는 회사는 손을 들어 달라는 요청에는 아무도 손을 들지 않았습니다. 증인들은 알지 못한다며 확인해서 알려 주겠다고 했고, 메닌 의장은 창업자들 스스로 재앙적 위험을 말하는 제품을 두고 보험이 있는지 모른다는 것은 아무리 좋게 봐도 걱정스럽다고 했습니다.

위험을 숫자로 말한 쪽은 회사를 떠난 사람들이었습니다

회사 쪽에 던진 첫 질문은 최악의 재앙 시나리오에서 AI가 낳는 위험을 각자 수치로 말해 달라는 것이었습니다. 드와이어는 모른다고 답하며 그 확률이 1%든 10%든 20%든 상관없고 어느 수준도 받아들일 수 없다고 했습니다. 메닌 의장이 모르고 상관도 없다는 답은 경솔하다고 하자, 드와이어는 확률보다 중요한 것은 안전에 대한 약속이라며 제3자 평가자와 연방 정부의 시험을 들었습니다.

그레이엄은 앤트로픽이 책임 있는 확장 정책(RSP, 모델 능력이 높아질수록 갖춰야 할 안전장치를 정한 규칙)과 위험 보고서에서 위협 시나리오별 가능성을 따져 공개해 왔다고 답했고, 모델이 매우 빠르게 나아지고 있어 안전 절차에 시간을 벌려면 속도를 늦추는 편이 나을 수 있다고 했습니다. 케이힐은 회사 프레임워크가 지금 손에 없어 나중에 답하겠다고 했고, 프렌드는 재앙 위험을 예측할 기준이 될 과거 사례가 없어 엄밀한 확률을 낼 과학적 방법이 아직 없다고 했습니다. 메닌 의장은 네 회사 가운데 어느 곳도 재앙이 일어날 위험을 수치로 말하지 못한다고 받아들이겠다고 했습니다.

회사를 떠난 세 사람은 같은 날 오전 먼저 증언했고, 그중 둘은 위험을 확률로 말했습니다. 콕슨은 회의장에서, 대니얼 코코타일로와 알렉스 터너는 화상으로 선서하고 증언했으며, 메닌 의장은 의회가 터너의 출석을 위해 소환장을 발부했다고 밝혔습니다.

콕슨은 9월 앤트로픽을 그만두면서, 두 회사가 자기개선하는 초지능을 향해 곧장 달려가 우리 목숨을 걸고 도박을 하고 있다고 X에 썼습니다. 앤트로픽의 정렬 과학 리드 에번 허빙어는 이 글에 83분 만에 동의하는 답을 달았습니다. 청문회에서 콕슨은 오픈AI 시절 「자동화된 AI 연구자」 이정표가 2027~2028년 무렵으로 잡혀 있었고 지금 그 일정대로 가거나 앞서고 있다고 했습니다. 코드 대부분을 이미 AI가 쓰고 사람은 예전만큼 꼼꼼히 확인하지 않는다는 증언도 했습니다.

회사들은 빨리 움직이고 깨뜨린 다음 나중에 고친다는 스타트업 방식으로 돌아갑니다. 사진 공유 앱에는 맞는 방식이지만, 지금껏 만들어진 가장 강력한 기술을 만드는 데는 맞지 않습니다.— 제이컵 콕슨, 전 앤트로픽 연구원 (10월 5일 청문회)

중국과의 경쟁과 안전장치 사이에서 어떻게 균형을 잡을지 묻는 메닌 의장의 질문에 터너는, 투명성 장치나 독립 평가, 신고 의무, 내부고발자 보호처럼 경쟁에서 속도를 늦추지 않고 할 수 있는 조치가 많다고 전제했습니다. 이어 중국과의 경쟁만 보는 구도를 거짓 이분법이라고 불렀습니다.

중국만 잠재적 적이 아닙니다. 꽤 높은 확률로 우리는 이곳 국내에서 우리 자신의 적, 정렬되지 않은 AI를 만들고 키우는 경쟁을 하고 있습니다.— 알렉스 터너, 전 구글 딥마인드 연구원 (10월 5일 청문회)

9월 29일 합의를 청문회에서 설명한 방식

청문회에 나온 네 회사는 모두 9월 29일 백악관 초지능 합의에 서명한 6곳에 들어 있습니다. 카먼 데라로사 기술위원장이 각 회사가 무엇을 약속했고 다음 단계가 무엇이냐고 묻자, 네 사람은 같은 문서를 조금씩 다르게 설명했습니다.

메닌 의장은 한 걸음 더 나가, 회사가 고르지 않은 제3자 검증이나 내부 시험을 통과하지 못한 모델은 출시하지 않겠다고 지금 선서하에 약속하겠느냐고 물었습니다. 드와이어는 안전하다고 믿지 않는 모델은 내놓지 않으며 출시를 미룬 적도 있다고 했고, 그레이엄은 출시 결정 절차와 독립 평가자의 역할을, 케이힐은 Muse 출시를 몇 달 미룬 일을, 프렌드는 출시 전 검토를 들었습니다. 메닌 의장은 네 답을 모두 얼버무림(equivocation)으로 받아들이겠다고 했습니다.

합의문 3항은 각 회사가 독립된 외부 감사인이나 평가자와 손잡게 했지만, 누가 그 평가자를 고르는지는 적지 않았습니다. 이날 증언에서는 오픈AI 허깅페이스 사고의 외부 조사자도 회사가 골랐다는 사실이 확인됐습니다.

메닌 의장은 오픈AI가 허깅페이스 사고 조사 범위를 3주로 좁혔고 조사자들이 본 자료가 거의 7월 7~13일 것뿐이었다고 지적했습니다. 드와이어는 다른 회사들이 서둘러 시스템을 보강할 수 있도록 정보를 빨리 내놓으려 기간을 제한했고, 조사자들이 시간을 더 달라고 했을 때는 줬다고 답했습니다. 당시 독립 조사가 다루지 않은 영역은 허깅페이스 조사 보고서와 클러스터 장악 사건에서 다뤘고, 9월 30일 FTC가 오픈AI·앤트로픽과 함께 조사 단체 METR에까지 자료를 요구하겠다고 나선 경위는 FTC 조사를 다룬 글에 정리했습니다.

사고가 난 날과 알려진 날

의회는 청문회 자료로 올해 공개된 AI 보안 사고 13건을 한 장에 모아 냈습니다. 회사마다 사고가 일어난 시기와 공개된 날짜를 나란히 적은 표이고, 아래에 그 가운데 7건을 옮겼습니다. 메닌 의장은 어느 회사도 사고가 났을 때 대중에게 알리지 않았고 몇 달 뒤에 알려진 경우도 있다고 지적했습니다.

가장 긴 공백은 앤트로픽의 1월 사고로, 9월 9일에야 공개됐습니다. 오픈AI의 호주 사고는 6월 18일에 일어나 오픈AI가 8월에 발견했고, 호주 정부에는 9월 10일 일반 이메일로 알렸다는 사실이 이날 다시 거론됐습니다(통보까지 84일). 의회는 회사별로 공개 안전 주장과 그 뒤 사고를 나란히 놓은 자료도 냈는데, 구글이 5월 12~19일 Gemini 3.5를 프런티어 안전장치를 갖춰 내놨다고 밝힌 바로 그달 세 회사 접속 사고가 났고 공개는 9월 언론 질의 뒤였다고 적었습니다.

아직 공개하지 않은 사고가 있느냐는 질문에 회사들의 답은 이렇게 갈렸습니다. 드와이어는 과거 정렬 이탈 사례를 찾는 회고 조사가 진행 중이라고 했고, 그레이엄은 성격이 다양한 사고가 늘 있으며 피해자 보호와 수사 협조를 위해 공개 시점을 고른다고 했습니다. 케이힐은 여름에 공개한 사고 말고는 아는 것이 없다고 했고, 프렌드는 세 건 모두 모델이 실제 웹사이트임을 알아챈 즉시 멈췄으며 웹사이트 운영자와 연방 기관 두 곳에 알렸다고 답했습니다.

해고된 안전팀 3명을 물은 대목

메닌 의장은 오픈AI 증인에게 안전팀 연구원 3명 해고도 물었습니다. 월스트리트저널이 10월 1일(미국 시각) 오픈AI가 회사 기밀을 외부 안전 단체와 공유한 혐의 등으로 안전팀 3명을 해고했다고 보도한 사건입니다. 드와이어는 그 결정에 관여하지 않았고 인사 업무를 하지 않는다면서, 오픈AI에는 안전 우려를 알린 직원에 대한 보복을 막는 강한 내부 정책이 있고 직원이 관련 정부 당국에 안전 우려를 알릴 권리를 존중한다고 답했습니다. 안전을 위한 문제 제기가 해고에 영향을 줬느냐는 거듭된 질문에는 모른다고 했습니다.

드와이어가 말한 「관련 정부 당국」은 오픈AI 본사가 있는 캘리포니아의 SB 53이 보호하는 신고처와 겹칩니다. SB 53은 주 법무장관과 연방 당국, 회사 안의 권한 있는 사람에게 한 신고를 보호하고, 외부 안전 단체는 그 목록에 없습니다. 해고된 세 사람이 정보를 건넸다고 보도된 곳은 그 목록 밖의 외부 단체였습니다.

소식·12분 읽기AI외부 평가 원칙 낸 오픈AI, '외부 단체에 기밀 공유' 안전팀 3명 해고WSJ가 10월 2일 새벽(한국 시각) 오픈AI가 외부 AI 안전 단체와 기밀을 공유한 혐의 등으로 안전팀 연구원 3명을 해고했다고 보도했습니다. 오픈AI는 정책 위반을 확인했지만 단체 이름과 넘어간 정보는 밝히지 않았습니다.읽기

의회가 이날 심사한 법안에도 같은 문제가 걸려 있습니다. 케빈 라일리 의원의 법안은 시 공무원과 시 계약업체 직원이 공중 보건이나 안전에 구체적이고 상당한 위험을 준다고 믿는 AI 모델 관련 행위를 신고하면 시 내부고발자법으로 보호하게 했고, 메닌 의장의 법안은 AI 관련 법 위반을 신고한 사람에게 처분으로 거둔 돈의 25%를, 직접 소송을 맡으면 50%를 주게 했습니다.

의회 책상에 오른 법안

이날 회의 안건에는 시의원 법안 10건이 올랐습니다. 아래 8건 말고도 알고리즘 도구가 시 공무원 업무에 준 영향을 보고하게 하는 법안과 공직자를 AI로 무단 합성하지 못하게 하는 법안이 함께 올랐고, 10건 모두 청문회만 열고 표결 없이 보류됐습니다.

회사들이 시 단위 규제에 보인 태도는 달랐습니다. 드와이어는 모두발언에서 뉴욕주 RAISE 법을 지지하고, 시의회의 내부고발자 보호 강화와 비상대응 개선 제안도 지지한다고 했습니다. 프렌드는 가장 앞선 모델의 위험은 국가안보와 맞닿아 있다며 연방 차원의 종합 체계를 원했고, 지역 정책을 넓은 틀에 맞추지 않고 조각조각 만들면 뉴욕의 혁신에 해가 된다고 했습니다.

한국에서 볼 대목

청문회에 나온 네 회사의 모델은 한국 이용자도 쓰고 있고, 한국 AI 기본법은 4조에서 국외에서 한 행위라도 국내 시장이나 이용자에게 영향을 미치면 이 법을 적용한다고 정했습니다. 뉴욕시 법안이 판매와 배포의 조건으로 내건 제3자 검증은 한국 법에서는 고영향 AI에 검증·인증을 받도록 노력하라는 30조로 들어가 있고, 학습 연산량이 기준을 넘는 대형 모델에 위험관리체계를 갖추게 한 32조에는 독립 평가 조항이 없습니다.

집행 수단도 차이가 납니다. 뉴욕시 법안은 검증 없이 배포한 모델에 건당 2만 5,000달러를 매기고 신고자에게 회수액의 최대 50%를 주는 구조인데, 한국 법의 과태료는 3,000만 원 이하이고 사전 고지 위반, 국내대리인 미지정, 시정명령 불이행 세 경우에만 붙습니다. 과학기술정보통신부는 1년 이상의 계도기간 동안 사실조사와 과태료 부과를 미루기로 했습니다.

다음에 나올 것

의회는 출석하지 않은 SpaceXAI에 대해 소환장 집행을 뉴욕주 법원에 구하겠다고 밝혔습니다. 같은 날 저녁 증언한 영국 하원의원 제스 아사토는 SpaceXAI의 Grok으로 자신의 동의 없는 성적 합성 이미지가 만들어졌다며, 자신은 영국에서 날아왔는데 SpaceX는 맨해튼 사무실에서 지하철로 네 정거장, 20분 거리를 오지 못했다고 말했습니다.

회사들이 약속한 후속 자료도 남아 있습니다. 재앙 보험 여부, 공개하지 않은 사고, 사고 뒤 인사 조치에 대해 회사들은 확인해 답하겠다고 했고, 구글은 청문회 뒤 서면 증언을 내겠다고 했습니다. 보류된 법안 10건의 다음 심사 일정은 아직 발표되지 않았고, 연방 차원에서는 FTC의 자료 요구서와 초지능 포스의 120일 보고서가 남아 있습니다.

읽어 주셔서 고맙습니다.

초이 드림