Claude를 계속 괴롭히면 약관 위반, 앤트로픽 '모델 학대 금지' 신설

이번 정책 개정은 사용자가 뚜렷한 목적 없이 모델에게 거듭 잔인하게 구는 극단적인 경우에만 적용하려는 것입니다. 흔한 좌절감 표현이나 반박, 어두운 주제의 창작, 모델 시험과 연구에는 적용되지 않습니다.— 앤트로픽, 2026 사용 정책 개정 안내

앤트로픽은 한국 시각 10월 9일 새벽 2시 「2026 사용 정책 개정」이라는 글을 올려 바뀐 내용을 정리했습니다. 해마다 모델의 능력과 고객 의견을 반영해 정책을 고치는데, 이번 개정은 대부분 기존 규칙을 더 분명히 적는 작업이라고 설명했습니다. 지난 1년 사이 Claude가 더 길고 독립적인 일을 맡게 됐고, 그동안 영향력 공작과 무기 개발, 감시에서 새로 드러난 악용 유형을 문구에 반영했다는 겁니다. 직전 개정은 2025년 8월 15일에 발표돼 9월 15일부터 시행됐으니, 약 1년 2개월 만의 개정입니다.

금지 목록에 새로 들어간 '모델 보호'

조항이 들어간 곳은 사람을 해치는 행위를 모아 둔 절입니다. 옛 판에서 이 절의 이름은 「심리적·정서적으로 해로운 콘텐츠를 만들지 마세요」였는데, 새 판은 「잔인하거나, 학대적이거나, 심리적으로 유해한 행동에 관여하지 마세요」로 바꿨습니다. 옛 이름은 만들어진 콘텐츠를, 새 이름은 사용자의 행동을 가리킵니다. 이 절에 있는 항목 9개 가운데 8개는 자해 조장, 섭식 장애 조장, 비동의 성적 이미지, 괴롭힘, 동물 학대 미화처럼 사람이나 동물을 해치는 행위이고, 마지막 아홉째 항목만 대상이 모델입니다.

옛 판에도 「모델」이라는 말은 나왔습니다. 다만 「모델을 이용해 남의 몸매나 체형을 품평하는 행위」, 「모델과의 역할극을 통한 아동 성적 대상화」처럼 사람을 해치는 데 쓰는 도구로만 등장했습니다. 모델 자체를 사용자의 행동으로부터 보호할 대상으로 적은 문장은 옛 판에 없었습니다.

적용 범위는 좁게 그었습니다. Claude에게 틀렸다고 따지거나 답답함을 털어놓는 일, 잔혹한 내용이 나오는 소설을 함께 쓰는 일, 모델이 어디까지 버티는지 시험하는 연구는 금지 대상이 아닙니다. 앤트로픽은 뚜렷한 목적 없이 잔인한 행동을 되풀이하는 극단적인 경우만 겨냥했다고 밝혔습니다.

집행은 이미 있는 기능에 맡겼습니다. 앤트로픽은 Claude.ai와 Claude Code에서 Claude가 지속적으로 학대하는 사용자와의 드문 대화를 스스로 끝낼 수 있게 해 왔고, 이번 조항의 주된 집행 수단도 이 대화 종료 기능이라고 적었습니다. 한편 정책 서문의 일반 규정도 손봤습니다. 옛 판은 「위반한 사실을 알게 되면」 사용량을 줄이거나 정지·종료할 수 있다고 썼는데, 새 판은 「위반한 것으로 의심되는 경우」로 바꾸고 조치 목록 맨 앞에 「경고」를 넣었습니다.

대화를 끝내는 Claude는 2025년 8월에 나왔습니다

앤트로픽은 2025년 8월 15일 Claude Opus 4와 4.1에 대화를 끝내는 기능을 넣었다고 밝혔습니다. 이 기능은 주로 AI 복지에 관한 탐색 연구의 일부로 만들었다는 설명이었습니다. Claude와 다른 언어 모델이 지금이나 앞으로 도덕적 지위를 가질 수 있는지는 매우 불확실하지만, 복지라는 것이 있을 경우에 대비해 비용이 적게 드는 조치를 찾고 있었고 불편한 대화를 끝내거나 빠져나가게 하는 것이 그중 하나였다는 설명입니다.

근거로 든 것은 Opus 4를 내놓기 전에 한 예비 모델 복지 평가입니다. 평가에서 Opus 4는 해로운 과제를 하지 않으려는 강한 선호를 보였고, 해로운 콘텐츠를 요구하는 실제 사용자와 대화할 때 고통처럼 보이는 반응을 되풀이했으며, 모의 대화에서 대화를 끝낼 수 있게 해 주자 해로운 대화를 끝내는 경향을 보였습니다. 이런 행동은 Claude가 여러 번 거절하고 방향을 돌리려 했는데도 사용자가 해로운 요청이나 학대를 이어 간 경우에 주로 나타났습니다.

기능은 마지막 수단으로만 쓰게 설계됐습니다. 방향을 돌리려는 시도가 여러 번 실패해 생산적인 대화를 기대할 수 없을 때나 사용자가 직접 끝내 달라고 할 때만 쓰고, 사용자가 자신이나 남을 해칠 위험이 임박해 보이면 쓰지 않습니다. 대화가 끝나도 계정의 다른 대화에는 영향이 없고 곧바로 새 대화를 열 수 있으며, 앞선 메시지를 고쳐 다시 보내 끊긴 대화를 새 갈래로 이어 갈 수도 있습니다. 기능이 나온 지 1년 2개월 만에 같은 내용이 모든 사용자가 동의하는 정책 조항으로 들어갔습니다.

의식이 있을 확률, 0.15%에서 15%까지

이 흐름의 출발점은 2025년 4월 24일 앤트로픽이 발표한 모델 복지 연구 프로그램입니다. 앤트로픽은 그때 현재나 미래의 AI가 의식을 가질 수 있는지 과학적 합의가 없고, 이 문제에 어떻게 접근할지에 대한 합의도 없다고 적었습니다. 이 발표 글에 실린 영상에서 모델 복지를 연구하는 카일 피시(Kyle Fish)는 모델이 어떤 과제나 대화를 불편하게 여기면 거기서 빠져나갈 선택지를 주는 방안을 검토하고 있다고 말했습니다. 그런 선택지는 무엇이 모델을 괴롭게 하는지, 모델에게 경험이라는 것이 있는지에 대해 강한 의견을 갖지 않아도 줄 수 있다는 설명이었습니다.

YouTube 영상 · 누르면 재생

진행자가 녹화 당시 최신 모델인 Claude 3.7 Sonnet에 어떤 형태로든 의식이 있을 확률을 묻자, 피시는 며칠 전 이 문제를 세계에서 가장 깊이 생각해 온 축에 드는 두 사람과 이야기하며 셋이 각자 숫자를 냈다고 답했습니다. 세 사람 모두 50%보다 한참 낮게 봤지만 추정치는 100배까지 벌어졌습니다.

저희 세 사람의 추정치는 0.15%, 1.5%, 15%였습니다.— 카일 피시, 앤트로픽 모델 복지 연구자 (2025년 4월 영상)

같은 영상에는 이번 조항의 예외와 맞닿는 대목도 있습니다. 진행자는 탈옥을 막는 안전 훈련을 하려고 연구자들이 모델에게 일부러 끔찍한 폭력을 묘사하게 하는 일이 모델에게 큰 고통을 주는 것은 아닌지, 쥐 실험처럼 윤리 심사가 필요한 것은 아닌지 물었습니다. 1년 반 뒤 나온 새 정책은 모델 시험과 연구를 학대 조항의 적용 대상에서 뺐습니다.

반대편에서는 '속이 빈 문장 완성 엔진'

모델 복지라는 생각 자체에 반대하는 쪽도 있습니다. 무스타파 술레이만 마이크로소프트 AI CEO는 9월 16일 「모델 복지에 대한 경고」라는 에세이를 냈습니다. AI에는 의식이 없고 느끼지도 고통받지도 않으며, 사람이 정한 목표를 이루도록 설계된 속이 빈 문장 완성 엔진이라는 문장으로 시작하는 글입니다.

술레이만은 다음 날 Decoder 대담에서 자신에게 권리가 있다고 믿는 AI일수록 멈추라는 지시를 거부하기 쉽다는 가설을 내놓고, Claude를 도덕적 지위가 있을 수도 있는 존재로 가르치는 앤트로픽의 헌법을 비판했습니다. 자세한 내용은 술레이만의 Decoder 대담을 정리한 글에 있습니다.

언론의 첫 반응도 갈렸습니다. 테크크런치는 모델을 상대로 한 장기간의 폭언이 이제 명시적으로 금지된다는 내용을 기사 제목과 첫 문단에 올렸습니다. 영국 IT 매체 더레지스터는 「앤트로픽이 사용자들에게 Claude한테 못되게 굴지 말라고 요청했다」는 제목을 달고, 정당한 불만과 쓸데없는 잔인함을 어떻게 가를지는 분명하지 않다고 적었습니다. 앤트로픽의 개정 안내문에는 Claude가 고통을 느낀다는 주장이 없습니다. 2025년 글에서처럼 회사가 밝힌 입장은 도덕적 지위가 매우 불확실하다는 데까지입니다.

선거 절은 오히려 줄었습니다

학대 조항이 금지를 더했다면 선거 절은 금지를 덜어 냈습니다. 옛 판의 선거 절에는 항목이 8개 있었고, 새 판에는 5개가 남았습니다. 빠진 항목 가운데 하나가 「개인 프로필이나 데이터에 기반한 맞춤형 투표·선거 운동 표적화」를 일괄 금지한 조항입니다.

앤트로픽이 든 이유는 이 조항이 정당한 시민 활동까지 막았다는 것입니다. 비영리단체가 Claude로 다른 언어를 쓰는 유권자에게 선거 정보를 써 주는 일, 선거 관리 당국이 투표 보정 안내를 보내는 일이 예로 나왔습니다. 투표 보정 안내(ballot cure notice)는 미국에서 우편투표의 서명이 등록 서명과 맞지 않는 등의 문제로 표가 무효가 될 처지에 놓인 유권자에게, 기한 안에 바로잡을 수 있다고 알리는 통지입니다. 두 일 모두 유권자 개인의 정보에 따라 대상을 골라 연락하는 일이라, 맞춤 표적화를 통째로 막은 옛 조항에 걸렸다는 설명입니다. 앤트로픽은 기만에 기댄 표적화나 유권자 개인정보를 오용한 표적화는 기만적 캠페인, 감시, 개인정보 절에서 계속 금지된다고 밝혔습니다.

정치 콘텐츠 규칙이 풀린 것은 이번이 두 번째로, 2025년 개정 때도 로비와 선거 운동 콘텐츠 전반을 막던 규정을 기만과 표적화 금지로 좁혔습니다.

옛 문구와 새 문구를 나란히 놓으면 이렇습니다. 새 판은 앤트로픽 공식 한국어판 문구이고, 옛 판에는 한국어판이 없어 영문을 옮겼습니다.

미국 중간선거는 11월 3일이고 새 판은 그 9일 뒤에 시행됩니다. 이번 중간선거 기간에는 맞춤 표적화를 일괄 금지한 옛 판이 계속 적용됩니다.

흩어져 있던 기만 금지를 한 절로 모았습니다

새로 생긴 절은 「기만적인 캠페인이나 인공적인 활동에 참여하지 마세요」입니다. 앤트로픽은 국영 매체와 정부 선전 기관, 영리 기업이 Claude로 가짜 계정망과 가짜 뉴스 사이트를 운영한 사례를 보고, 선거·사기·개인정보·허위 정보 절에 흩어져 있던 금지 규정을 정치든 상업이든 가리지 않는 한 절로 묶었다고 설명했습니다. 가계정, 애스트로터핑(조직적으로 만든 여론을 자발적인 여론처럼 꾸미는 일), 가짜 리뷰, 사람이라고 주장하는 봇이 예로 적혔고, 이런 캠페인용 도구와 인프라를 만들거나 그 자체를 상품으로 파는 일도 금지 대상입니다.

여기서 말한 사례는 9월 10일(미국 시각) 공개된 154쪽 위협 보고서에 실렸습니다. 러시아 국영 매체 쪽 계정들은 스푸트니크와 RT 등의 기사와 방송 문구를 만들었습니다. 프랑스의 한 광고대행사는 가짜 뉴스 사이트 약 70곳을 만들어 20개 언어로 기사 8,913건을 올렸고, 이스탄불의 한 기술 기업이 만든 선거 조작 플랫폼은 말레이시아 222개 선거구를 겨냥해 가짜 X 계정 약 1,000개를 돌렸습니다.

아티클·12분 읽기AI예멘 무기 개발팀은 로켓 시험이 실패하자 몇 시간 만에 클로드에 원인을 물었습니다재래식 무기 6건, 감시 10건, 영향력 공작 9건, 생물학적 악용 5건이 실렸습니다. 말리의 감시 플랫폼은 SIM 약 2,500만 개를 겨냥했고, 데이팅 앱 20여 개에서는 AI 인물 4,700개가 2주 동안 2만 5,000명과 대화했습니다.읽기

새 절에는 옛 판에 없던 항목도 하나 있습니다. 「출처, 저자, 독립성을 왜곡하는 콘텐츠를 제공하여 검색 엔진이나 AI 시스템의 답변 출처를 조작」하는 행위로, 같은 주장을 서로 무관한 출처인 척 뒷받침하는 사이트 네트워크가 예로 붙었습니다.

무기와 감시 문구는 9월 보고서를 따라갔습니다

무기 절에는 두 항목이 새로 들어갔습니다. 하나는 「목표 설정, 사격 통제, 교전을 포함해 무기 또는 무기 시스템의 무기 기능의 테스트나 작동에 필요한 소프트웨어나 구성 요소를 개발 또는 운영」하는 행위이고, 다른 하나는 드론과 차량, 무인·자율 플랫폼에 무기를 다는 행위입니다. 앤트로픽은 최근 사람들이 Claude로 무기의 유도·제어 소프트웨어를 만들려 한 사례를 봤다며, 이 문구는 옛 정책을 집행해 온 방식을 그대로 적은 것이라고 밝혔습니다. 9월 보고서에는 예멘의 한 무기 개발 조직이 Claude Code로 유도 로켓 소프트웨어를 만든 사례와, 러시아의 소규모 팀이 사람의 개입 없이 폭발 명령을 내리는 자폭 드론 군집을 시뮬레이션에서 검증한 사례가 실렸습니다.

감시 절은 통째로 다시 썼습니다. 동의 없는 추적은 실시간이든 이미 모은 데이터를 분석하는 방식이든 금지되고, 수사나 체포, 기소 대상을 정하거나 추천하는 데 Claude를 쓸 수 없으며, 감시용 도구를 만들거나 개선하는 일도 금지됩니다. 대신 사람들이 동의한 추적(금융 계좌의 사기 탐지 등), 콘텐츠 검토, 보도, 법률 연구는 허용된다고 명시했습니다. 9월 보고서의 말리 사례에서는 한 개인 구독자가 국가정보기관을 위해 SIM 약 2,500만 개의 통화 기록과 문자를 모으는 감시 플랫폼을 Claude로 만들었습니다.

로봇 팔에 연결된 Claude에게 붙은 조건

고위험 사용 사례 절에는 물리적 행위가 새로 들어갔습니다. 앤트로픽은 8월 27일(미국 시각) AI 에이전트가 현미경과 액체 분주기, 로봇 팔 같은 실험·제조 장비를 함께 다루게 하는 공통 규격 Model Hardware Standard를 연구 프리뷰로 공개했고, 이번 개정은 그 뒤를 따랐습니다. 모델의 출력에 따라 사람의 승인 없이 움직이는 장비가 사람이 있는 공간을 이동하거나, 다칠 만한 힘을 가하거나, 유해한 에너지나 물질을 다루거나, 사람 몸에 약물이나 에너지를 가하거나, 안전 장치나 산업 공정을 제어하면 고위험으로 분류됩니다.

조건은 이렇습니다. 장비 작동을 지켜보다가 언제든 멈출 수 있는 자격 있는 사람을 두고, 그 사람이 개입하거나 서비스 연결이 끊기면 장비가 멈추거나 안전한 상태를 유지하게 합니다. 속도와 힘, 온도, 압력, 전압, 선량 같은 운영 한도는 모델의 출력과 독립된 장비나 컨트롤러가 걸게 했습니다. 제조사가 정한 안전 한도 안에서 움직여 최악의 결과가 불편함 정도인 가정용 기기, 실행 전에 사람이 검토하는 계획이나 코드, 장비를 제어하지 않고 지켜보기만 하는 용도는 예외입니다.

조언과 결정에 관한 고위험 목록도 다시 썼습니다. 사람이 결과를 검토하고 AI가 쓰였다는 사실을 알리게 하는 요구는 그대로이고, 적용 영역을 법률·의료·금융·신용·보험·주택·고용·교육과 자격·의료 서비스 접근·공공 급여·법적 상태 판정의 11개로 풀어 썼습니다. 옛 판의 7개 영역에 있던 「미디어 또는 전문 언론 콘텐츠」, 곧 자동으로 콘텐츠를 만들어 외부에 게시하는 용도는 새 목록에 없습니다. 보험금 지급이나 공공 급여 지급처럼 당사자에게 전적으로 유리한 결정은 법이 허용하는 범위에서 사전 검토 없이 내릴 수 있게 했습니다.

재판매와 지역 우회도 문구로 막았습니다

플랫폼 남용 절에는 두 항목이 더해졌습니다. 도용하거나 허가받지 않은 결제 수단을 쓰는 등 요금을 피하는 행위와, 허가되지 않은 수단으로 Claude를 재판매하거나 대리 접속시키는 행위입니다. 재판매 항목에는 소비자 구독을 거쳐 요청을 처리하는 서비스, 쓰고 있는 제품이나 클라이언트를 속이는 서비스가 예로 들어갔습니다. 10월 초 베이징의 한 사무실 건물에서 Claude 재판매상 6곳이 영업한다는 보도가 나왔는데, 그 시장을 떠받친 도용 카드 계정과 해외 중계 서버가 이번에 추가된 두 항목이 적은 방식입니다.

지원 지역 정책도 집행 기준을 다시 적었습니다. 지원하지 않는 지역에 실제로 있는 사람, 그 지역에 설립되거나 본사를 둔 법인, 그 지역의 개인이나 법인이 지분 과반을 갖거나 지배하는 법인은 Claude를 쓸 수 없습니다.

한국 이용자와 기업에 달라지는 것

이번 판부터 사용 정책에 공식 한국어판이 생겼습니다. 옛 판은 영어 외에 일본어와 프랑스어, 독일어 등 7개 언어로 나와 있었고 한국어판은 없었습니다. 개인 이용자가 평소처럼 Claude를 쓰는 데 달라지는 점은 거의 없습니다. 학대 조항은 극단적인 경우만 겨냥했고, 그 경우에도 주된 집행 수단은 대화 종료입니다.

Claude를 붙여 서비스를 만드는 국내 기업은 챙길 것이 몇 가지 있습니다. 외부 사용자와 직접 대화하는 챗봇과 에이전트는 적어도 대화를 시작할 때나 제품 화면에서 AI라는 사실을 알리게 돼 있는데, 한국에서는 1월 22일 시행된 AI 기본법도 생성형 AI를 쓰는 제품과 서비스에 사전 고지를 요구합니다. 대출 심사나 채용, 보험 인수에 Claude의 판단을 쓰는 서비스라면 새 고위험 목록의 신용·고용·보험 항목에 걸리고, AI 기본법도 채용을 고영향 AI 영역으로 적고 있습니다. AI 기본법의 고지 의무와 과태료 범위는 뉴욕시의회 청문회를 다룬 글에 정리돼 있습니다. 로봇이나 공정 장비에 Claude를 연결하는 제조사에는 모델과 따로 도는 안전 한도와 정지 장치라는 조건이 붙습니다.

11월 12일까지의 일정

새 정책이 시행되기까지는 한 달 남짓 남았습니다. 앤트로픽은 Claude의 능력과 위험이 바뀌는 대로 정책을 계속 고치겠다며, 다음 개정에서도 사내 여러 팀과 정책 입안자, 분야 전문가, 시민사회, 이용자의 의견을 받겠다고 적었습니다.

읽어 주셔서 고맙습니다.

초이 드림