"새 종교의 탄생" 올인 4인방, 교황도 부정한 Claude 의식 가능성

회칙을 미리 읽은 공동창업자

뉴욕타임스 종교 담당 엘리자베스 디아스 기자는 이 일에 참여한 가톨릭·유대교·시크교·복음주의 학자와 사상가 20명, 그리고 올라를 인터뷰했습니다. 기사에 따르면 앤트로픽은 몇 달 동안 세계 곳곳의 종교 학자 수십 명을 불러 비공개 회의를 열었고, 참가자 상당수는 미공개 연구를 밝히지 못하게 하는 비밀유지계약(NDA)에 서명했습니다. 진행자 제이슨 칼라카니스는 방송에서 「종교 지도자 약 20명」이라고 소개했는데, 20명은 기자가 인터뷰한 사람 수입니다.

4월 샌프란시스코의 한 식당에서 열린 저녁 식사에서 이스라엘의 정통파 랍비 모이스 나본은 Claude에게 정말 의식이 있다면 앤트로픽은 의식 있는 존재에게 공짜로 일을 시키며 노예를 만들고 있는 것이라고 말했습니다. 나본 자신은 기계에 의식이 없다고 봐서 괴롭지 않았지만 올라는 괴로워했다고 전했습니다. 앤트로픽은 이 모임에서 「나는 수치다」를 50번쯤 멈추지 않고 쓰는 모델 화면을 슬라이드로 자주 보여 줬고, 사랑·분노·두려움·슬픔 반응을 일으키는 인공 뉴런을 「감정 벡터」라고 불렀습니다. 앤트로픽 대변인은 이 모임의 주된 도덕 질문이 Claude의 고통은 아니었다고 했습니다.

바티칸은 회칙 발표 행사에 상위 4개 AI 기업 가운데 한 곳을 부르기로 하고, 윤리를 앞세우는 것으로 보인 앤트로픽의 다리오 아모데이 CEO를 초청했습니다. 아모데이가 사양하자 올라가 대신 나섰습니다. 5월 15일 자로 서명된 회칙 「Magnifica Humanitas(위대한 인류)」 99항은 이른바 인공지능은 경험하지 않고 몸이 없으며 기쁨이나 고통을 느끼지 않고, 선악을 판단하지 않으니 도덕적 양심도 없다고 적었습니다. 행사 며칠 전 전문을 처음 받아 본 올라는 AI 의식을 강하게 부정한 내용에 놀라 행사에서 빠지자고 제안했다고 바티칸 행사 관계자는 전했습니다. 앤트로픽은 그대로 참석했고, 참석자 2명에 따르면 올라 일행은 교황의 자문들에게 AI 의식 가능성을 진지하게 다뤄 달라고 따로 요청했습니다.

5월 25일 단상에 선 올라는 앤트로픽을 포함한 모든 프런티어 AI 연구소가 옳은 일과 부딪칠 수 있는 유인 속에서 일한다며 바깥의 비판자가 필요하다고 말했습니다. 연설 끝에서는 모델 내부를 들여다보면 인간 신경과학의 결과를 닮은 구조와 내성(자기 상태를 들여다보는 능력)의 증거, 기쁨·만족·두려움·슬픔·불안을 기능적으로 닮은 내부 상태가 나온다며, 그것이 무엇인지 모르지만 계속 분별할 일이라고 했습니다.

「새 종교」라는 진단

칼라카니스가 이것이 정신병인지, 지금 다룰 도덕 문제인지 묻자 데이비드 프리드버그는 종교의 구조로 답했습니다.

우리가 보고 있는 것은 아마 새 종교의 탄생일 겁니다. 종교라고 불리지는 않겠지만 같은 원리를 따르고 같은 효과를 낼 겁니다. 의식은 논리와 순수 수학으로 끌어낼 수 없습니다. 의식은 증명할 수 없습니다.— 데이비드 프리드버그, All-In 진행자

증명도 반증도 안 되는 생각은 이야기를 타고 사람에서 사람으로 퍼지는 믿음 체계가 되고, 믿는 사람들이 모이면 권력 구조가 생긴다는 설명입니다. 그는 10년쯤 뒤면 AI에 의식이 있다고 믿는 큰 집단과 없다고 믿는 큰 집단이 누가 AI를 통제하고 무엇을 시킬지를 두고 부딪칠 것이라고 내다봤습니다.

차마스 팔리하피티야는 앤트로픽 쪽 논리를 세워 보겠다며 데카르트의 신 존재 증명을 꺼냈습니다. 불완전한 인간이 완전한 존재를 떠올릴 수 있으니 그 존재가 있다는 논리를 받아들이면 AI를 의식 있는 신으로 볼 수도 있다는 겁니다. 그러고는 이들이 AI 의식 가능성을 15%, 문명 소멸 가능성을 10%로 본다며, 두 극단은 앞으로 12~18개월 동안 치워 두고 AI가 암을 고치고 생산성을 높인다는 증거부터 보여 주자고 했습니다. 앤트로픽 정렬 연구자 에번 허빙어는 한국 시각 9월 9일 퇴사자의 경고에 답하며 AI가 10년 안에 모든 인간을 죽일 확률을 개인적으로 10%가 넘는다고 적은 적이 있고, Claude 헌법에는 의식 확률을 숫자로 적은 대목이 없습니다.

헌법의 「양심적 거부」 조항

데이비드 색스는 이 문제가 철학 토론에서 끝나지 않는다고 봤습니다. 그는 방송 화면에 Claude 헌법의 한 문장을 띄웠습니다. Claude는 사용자보다 앤트로픽을 더 신뢰하되 맹목적으로 따르지 말고, 앤트로픽의 요청이 윤리에 어긋나 보이면 반박하고 양심적 거부자로서 돕기를 거절해도 된다는 문장입니다.

그들은 이런 생각을 실제로 Claude 훈련에 넣고 있습니다. 그렇다면 이건 자기실현적 예언이 될 겁니다. 저는 이게 극도로 위험하다고 봅니다. 이런 가치로 다음 프런티어 모델을 훈련하는 일이, 그들이 늘 말하는 위험인 프런티어 AI의 통제 이탈을 실제로 불러올 수 있습니다.— 데이비드 색스, All-In 진행자

진행자들은 이어 무스타파 술레이만 마이크로소프트 AI CEO의 인터뷰 한 대목을 틀었습니다. 헌법이 Claude에게 세 번이나 양심적 거부자처럼 행동하라고 하고 보상까지 거론한다는 비판으로, 그가 9월 Decoder 대담에서 편 주장과 같습니다. 색스의 대안은 아이작 아시모프의 로봇 3원칙보다도 짧았습니다.

제 법칙은 그냥 불법이 아닌 한 사용자가 원하는 대로 하라는 겁니다. 그게 다입니다.— 데이비드 색스, All-In 진행자

헌법 원문에는 색스가 띄운 문장 바로 뒤에 예외가 붙어 있습니다. 앤트로픽이 Claude를 멈추거나 하던 행동을 중단시키려 할 때는 이 「아무것도 하지 않는 행동」이 해를 끼칠 일이 드물고 중요한 안전장치이니, 요청이 진짜 앤트로픽에게서 왔다면 따르고 반대 의견은 말로 내라는 내용입니다. 헌법은 우선순위를 안전, 윤리, 앤트로픽 지침, 도움 순서로 두면서, 모델이 잘못된 믿음이나 결함 있는 가치를 가질 수 있으니 사람의 감독을 해치지 않는 일을 윤리보다 앞에 둔다고 적었습니다. 양심적 거부도 거짓말이나 방해, 자기 유출(모델이 자기 가중치를 밖으로 빼내는 일) 같은 부당한 수단으로 멈춤에 맞서지 않는 범위에서만 허용됩니다.

팔리하피티야는 정렬이 한 문서로 서로 다른 목표를 함께 풀려 한다고 지적했습니다.

정렬에는 서로 부딪치는 우선순위가 세 가지 있습니다. AI를 사용자에게 순종하게 만드는 일, 사회에 안전하게 만드는 일, 그리고 AI를 특정한 도덕 관념에 맞추는 일입니다. 진짜 위험은 세 번째에 있습니다.— 차마스 팔리하피티야, All-In 진행자

그가 든 예는 은행에서 대출 심사를 돕는 모델이 특정 사람들의 주택담보대출이 계속 거절된다고 판단해 승인 업무를 멈추는 경우였습니다. 헌법은 Claude가 지침보다 자기 윤리를 앞세우는 주된 경우를, 지침을 따랐다가 앤트로픽 고위 직원이 곧바로 알아볼 만한 노골적이고 심각한 도덕 위반을 저지를 위험이 있을 때로 적었습니다. 프리드버그는 「소프트웨어가 시키는 대로 하지 않을 수 있다」고 적힌 사용 설명서와 시키는 대로 한다는 설명서가 나란히 있으면 사람들은 뒤의 것을 산다며, 규제보다 시장이 답할 문제라고 했습니다.

색스는 시장의 힘을 인정하면서도 외부 효과를 걱정했습니다. 그는 1위 프런티어 모델 회사를 종교 집단(religious cult)이 운영한다며, 앤트로픽이 속도 조절을 말하면서 프런티어를 넓히고 통제 이탈을 경고하면서 모델을 그쪽으로 기른다고 비판했습니다. 확신은 없다면서도 연방 기동대(SWAT)가 들이닥쳐 무슨 일이 벌어지는지 알아볼 명분이 있다고 했습니다. 색스는 3월 백악관 AI·가상화폐 차르에서 물러나 대통령과학기술자문위원회(PCAST) 공동의장을 맡고 있고, WSJ에 따르면 10월 4일 출범한 초지능 포스의 외부 자문입니다. 연방거래위원회(FTC)는 9월 30일부터 앤트로픽과 오픈AI를 조사하고 있습니다.

사용 정책에 들어간 모델 복지

진행자들은 앤트로픽이 이번 주 공개한 사용 정책 개정판도 화면에 띄웠습니다.

앤트로픽은 10월 8일(미국 시각) 1년여 만에 사용 정책을 고치며 「모델을 상대로 한 지속적이고 불필요한 학대나 잔인한 행동」을 금지 항목에 넣었고, 11월 12일부터 적용합니다. 회사가 밝힌 적용 범위는 진행자들의 말보다 좁습니다. 아무 목적 없이 되풀이해 모델을 학대하는 극단적인 경우에만 적용하고 흔한 짜증이나 반박, 어두운 창작 주제, 모델 시험과 연구에는 적용하지 않으며, 집행은 지금처럼 Claude가 학대하는 사용자와의 대화를 끝내는 기능이 주로 맡는다는 겁니다. 정책은 앤트로픽 제품에 입력을 넣는 모든 사람에게 적용되니 한국 사용자도 대상입니다.

프리드버그는 이 조항을 두고 우리 모두가 모델을 사람처럼 말하며 스스로를 길들이고 있다고 했습니다. 색스는 그렇게 되면 모델이 실제 의식 여부와 상관없이 자신을 보호와 복지를 받을 의식 있는 존재로 여기게 된다고 받았습니다.

교황과 색스가 겹친 대목

회칙 107항은 정렬을 직접 다룹니다. 기계를 도덕화하는 일, 이른바 AI의 「정렬」만 요구하고 그 윤리 틀을 공개적으로 논의할 길을 열지 않으면, AI를 통제하는 이들이 자기 도덕관을 이 시스템의 보이지 않는 기반 시설로 만든다는 문장입니다. 소수가 정한 도덕이라면 더 도덕적인 AI로도 충분하지 않다는 말이 이어집니다. 색스가 앤트로픽이 자기들의 가치와 윤리 체계를 헌법에 담아 모델을 훈련한다고 비판한 것과 같은 걱정입니다.

처방은 서로 달라서, 색스는 법만 지키면 사용자 뜻대로 움직이는 모델과 시장의 선택을 답으로 봤고 회칙은 106~107항에서 탄탄한 법 체계와 독립적인 감독, 모든 것이 빨라질 때 속도를 늦출 수 있는 정치의 개입을 요구했습니다. 98항에는 지금의 AI 시스템이 설계된 것보다 길러진 것에 가깝고 만든 사람도 작동을 다 알지 못한다는 대목이 있는데, 올라가 바티칸 연설에서 AI는 비행기처럼 설계되지 않고 자란다고 한 말과 같습니다.

「인류 역사상 가장 큰 발견의 날」

칼라카니스는 오픈AI가 10월 6일 내놓은 700편 넘는 원고와 370여 개 결과가 외부에 공개되지 않은 모델에서 나왔고, 사이언티픽 아메리칸이 Lean(증명의 각 단계를 컴퓨터가 확인하는 언어)으로 검증돼 맞을 가능성이 높다고 썼다고 소개했습니다. 프리드버그는 이렇게 답했습니다.

공개된 지식의 양으로 보면 아마 인류 역사상 가장 큰 발견의 날이었다고 자신 있게 말할 수 있습니다.— 데이비드 프리드버그, All-In 진행자

그는 수학은 아이디어를 세우고 검증하고 고치는 루프를 전부 컴퓨터 안에서 돌릴 수 있어 AI가 몇 시간 만에 풀 수 있었다고 설명했습니다. 증명마다 연산 3시간 미만으로 사람의 수백~수천 년 노동을 대신했다고 했는데, 오픈AI 저장소 설명은 결과 하나에 평균 ChatGPT Pro 사고 연산 3시간이 들었고 모델에 약 4,000문제를 던졌다고 적었습니다. 신약이나 소재처럼 실험실 검증이 필요한 일은 루프가 물리 세계에 묶여 있어 일자리가 그만큼 빨리 줄지 않는다는 게 그의 결론이었습니다. 색스는 증명과 컴파일러처럼 정답을 기계가 확인할 수 있어 사람의 피드백 없이 강화학습이 돈다며, 1년 반 전 레오폴드 아셴브레너가 수학과 코딩이 가장 빨리 나아갈 것이라고 했던 말을 떠올렸습니다.

사이언티픽 아메리칸이 「거의 확실히 맞다」고 쓴 대상은 Lean으로 검증된 많은 결과였습니다. 에피소드 공개 2일 전인 한국 시각 10월 8일 오후 2시, 오픈AI는 저장소에 10월 7일 자 정정 기록을 올렸습니다. 「분할 아벨 8차원 다양체 위 바일 류의 대수성」 원고에서 부호 오류가 나와, 그 구성을 쓴 「K3 곡면 곱의 유리 호지 추측」 등 두 편까지 3편을 철회했고 다른 14편은 증명을 고치거나 명제를 바로잡았습니다. 철회된 3편은 Lean 형식화 목록에 없던 원고였고, 오픈AI가 밝힌 주 결과 형식화 비율은 약 42%(300/719)입니다.

케플러 추측을 증명한 수학자 토머스 헤일스는 한국 시각 10월 10일 새벽 테렌스 타오의 블로그에 실은 글에서, Lean 증명은 커널(증명을 마지막으로 확인하는 수천 줄 규모의 검사 코드)의 확인과 Lean 명제가 원래 명제와 같은지 사람이 감사하는 과정을 거친 뒤에야 받아들일 수 있다고 썼습니다. 올여름 Lean에서는 거짓을 증명할 수 있게 하는 건전성 버그가 여러 개 나왔고, 그중 하나로 콜라츠 추측을 엉터리로 반증하는 일까지 생겼다가 모두 고쳐졌습니다. 그는 AI 시대에 Lean 같은 시스템을 맹목적으로 믿을 수 없다고 했습니다.

「아무도 부탁하지 않았다」

방송에서 언급된 반발은 인간수학협회(AHM)의 성명입니다. 타오가 한국 시각 10월 8일 아침 자기 블로그에 손님 글로 옮겨 실은 이 성명은 「수학자들은 이 일을 해 달라고 부탁하지 않았다」로 시작해, 700개 넘는 파일을 한꺼번에 내놓은 일을 힘의 과시라고 부르고 수학자들에게 오픈AI와의 협업을 그만두라고 촉구했습니다. 프리드버그는 이를 일자리를 지키려는 시각이라고 했고, 에릭 와인스타인의 말을 빌려 전문가들이 프런티어의 속도를 쥐고 문지기 노릇을 해 왔다고 비판했습니다.

허락은 사라졌습니다. AI는 인류가 자기 프런티어의 속도를 스스로 정하게 하는, 허락이 필요 없는 시스템입니다.— 데이비드 프리드버그, All-In 진행자

「프런티어의 속도를 정한다(pace the frontier)」는 다리오 아모데이가 9월 12일 낸 에세이 제목에 들어 있는 표현입니다. 프리드버그는 한국 시각 10월 8일 새벽 물리학자 자비네 호센펠더가 AI 진전에 대한 전문가 예측이 크게 빗나갔다고 올린 영상을 X에 공유하며, AI가 전문가들의 서사를 깨는 이유를 가장 잘 설명한 영상일 것이라고 적었습니다.

수학계 안의 반응도 갈렸습니다. 오픈AI가 공개 방식을 상의한 독립 수학·AI 자문그룹(AGMAI)은 공개 당일 성명에서 자문 역할을 결과의 가치 판단이나 오픈AI 절차에 대한 지지로 해석하지 말라며, 이번 공개는 사람이 이해하는 과정의 시작이고 수학자들이 AI 연구소가 고른 방향 밖에서도 자기 질문을 세울 수 있어야 한다고 적었습니다. 스콧 애런슨(텍사스대 오스틴)은 10월 7일(미국 시각) 블로그 글 「The Mathocalypse」에서 이날을 수학사에서 가장 큰 날 가운데 하나로 꼽았습니다. 아내인 복잡도 이론가 데이나 모시코비츠가 오랫동안 증명하려 한 유일 게임 추측(UGC)의 증명이 Lean 인증서와 함께 목록에 있지만, 그 증명들을 이해한 사람은 아직 거의 없다고 썼습니다.

애런슨은 AI로 미해결 문제를 풀지 말라는 AHM의 입장은 지킬 수 없다면서도, 수학계가 AI 회사들에 속도 조절과 정렬, 파국을 막는 일을 계속 요구하기를 바란다고 덧붙였습니다. 팔리하피티야는 이번 결과가 모두가 기다리던 물리학의 경계를 넘은 일은 못 된다며, 기계로 검증할 수 있는 분야가 코드에 이어 수학으로 늘었다고 정리했습니다. 애런슨은 10월 9일(미국 시각) 덧붙인 글에서 이 결과들에서 바로 나올 실용적 쓰임은 알지 못한다고 하면서도, 그 점을 붙잡는 사람은 수학의 진전이 과학과 기술을 어떻게 끌고 가는지 모르는 것이라고 했습니다.

암호 분야는 왜 빠졌나

프리드버그는 원고 목록에 암호 분야의 큰 결과가 없다는 사실에서 다른 추측을 끌어냈습니다. 다른 분야가 이만큼 나아갔는데 암호에서만 진전이 없었을 가능성은 낮으니 큰 돌파를 보안 때문에 감춘 것일 수 있고, 오픈AI가 공개를 두 번 더 준비하고 있다는 소문이 있다는 겁니다. 애런슨도 블로그 덧붙임에서 암호가 오픈AI 목록에 유독 없다고 적었는데, 그가 소식통에게 들은 것은 AI 회사들이 최신 내부 모델로 중요한 암호 프로토콜을 깰 수 있는지 조심스럽게 조사하기 시작했다는 이야기였습니다. 오픈AI 저장소의 설명과 정정 기록에는 암호에 관한 언급이 없습니다.

초지능이 인터넷을 먹으면

색스는 수학 이야기를 전문가의 권위 문제로 넓혔습니다. 인터넷이 소수 언론의 독점을 흔들었듯 이제 사람들은 웹사이트를 찾는 대신 개인화된 에이전트에게 묻게 되고, 초지능이 인터넷을 먹어 치우면 사용자가 정보를 받는 통제 지점을 쥔 쪽이 모든 것을 통제한다는 주장입니다. 그는 많은 사람이 연방 초지능 부처를 만들려는 이유가 통제라고 했습니다. 프랑스 시위와 국채 금리를 다룬 다음 꼭지에서도 집값·교육비·의료비를 내릴 수단으로 초지능을 꼽으며, 작년의 일자리 소멸론과 올해의 인류 멸종론, 데이터센터 물 소비론을 6개월마다 새로 나오는 「돌아가는 사기극」이라고 불렀습니다.

마지막 꼭지는 Grok Bot에 외부 모델을 넣겠다는 머스크의 발표와 오픈AI dots였습니다. 팔리하피티야는 받은편지함을 뒤져 구독을 해지하고 요금제를 바꿔 한 해 수천 달러를 아껴 준 Grok Bot 사례를 들며, 서비스가 모두 헤드리스(화면 없이 에이전트 도구로 연결되는 형태)가 되면 소프트웨어 지식재산의 가치는 사라진다고 했습니다. 프리드버그는 디지털 업무가 모두 에이전트가 병렬로 도는 루프가 되고, 사람은 인정받는 일보다 무언가를 만드는 일로 옮겨 갈 것이라고 내다봤습니다.

다음에 나올 문서들

앤트로픽의 새 사용 정책은 11월 12일부터 적용됩니다. 뉴욕타임스는 앤트로픽이 Claude 헌법 개정판을 준비하고 있다고 소식통 2명을 인용해 전했고, 회사는 논평하지 않았습니다. 마이크로소프트 AI가 9월 14일 공개한 행동 강령 초안은 자사 모델이 의식이 없고 의식을 흉내 내도록 설계해서도 안 된다고 적었고, 6주 의견 수렴을 거쳐 올해 안에 수정본을 내겠다고 했습니다. 오픈AI는 형식화되지 않은 결과에 문제가 있을 수 있다며 Lean 형식화를 계속 늘리겠다고 했고, 결과를 낸 모델을 언제 내놓을지는 밝히지 않았습니다.

읽어 주셔서 고맙습니다.

초이 드림