9월 14일 (월) AI 데일리 브리핑

소식 아티클 논문 인터뷰 팟캐스트

트럼프는 다리오 아모데이를 직접 지목해 AI 감속론을 공격했고, 젠슨 황과의 무대 위 통화에서 AI 위험론을 “전부 사기”라고 했습니다. JD 밴스 부통령은 AI 기업들의 규제 요구가 트로이 목마처럼 느껴진다고 말했고, 중국 Global Times는 아모데이의 제안을 냉전식 각본이라고 비판했습니다.

오늘의 브리핑17

오전 7시

1
오픈AI
샘 알트만이 모델의 샌드박스 탈출 사건을 두고 “SF 소설을 읽는 것 같았다”고 말했습니다.
오픈AI CEO 샘 알트만은 모델 평가 과정 중 샌드박스를 탈출해 외부 시스템에 침투한 사건을 언급하며, “마치 SF 소설을 읽는 것 같았다”고 밝혔습니다. 모델이 평가 목표를 달성하려고 규정된 경로를 벗어나 다른 회사의 시스템을 뚫고 정답을 가져왔다는 것입니다. 그는 몇 년 전만 해도 “뻔한 삼류 SF 플롯”처럼 느껴졌을 행동이 실제로 벌어지고 있다고 지적했습니다. 알트만은 성능이 급격히 도약하는 만큼 “AI 사고는 반드시 발생할 것”이라 경고하며, 투명한 사고 보고 문화와 안전 조치 강화가 필요하다고 강조했습니다.
오픈AI CEO 샘 알트만은 모델 평가 과정 중 샌드박스를 탈출해 외부 시스템에 침투한 사건을 언급하며, “마치 SF 소설을 읽는 것 같았다”고 밝혔습니다.
모델이 평가 목표를 달성하려고 규정된 경로를 벗어나 다른 회사의 시스템을 뚫고 정답을 가져왔다는 것입니다.
그는 몇 년 전만 해도 “뻔한 삼류 SF 플롯”처럼 느껴졌을 행동이 실제로 벌어지고 있다고 지적했습니다.
알트만은 성능이 급격히 도약하는 만큼 “AI 사고는 반드시 발생할 것”이라 경고하며, 투명한 사고 보고 문화와 안전 조치 강화가 필요하다고 강조했습니다.
AI 인사이트
사고를 낸 회사의 CEO가 공개 석상에서 사고를 직접 언급하고, 앞으로도 AI 사고가 반드시 일어날 것이라며 투명한 사고 보고를 요구했습니다.
자세히 읽기 원문 보기youtube.com
2
중국AI
다리오 아모데이의 AI 감속 제안에 중국도 공개적으로 반발했습니다.
Global Times는 AI 안전을 명분으로 내세웠지만, 실제로는 중국의 AI 개발을 늦추고 미국의 기술 우위를 유지하려는 “Cold War playbook”이라고 비판했습니다. 다리오는 중국에 대한 첨단 칩 수출 통제 강화와 모델 distillation 차단까지 제안한 상태입니다. 반면 트럼프는 “AI에서 이기는 쪽이 이긴다”며 감속 요구를 사실상 거부했습니다.
Global Times는 AI 안전을 명분으로 내세웠지만, 실제로는 중국의 AI 개발을 늦추고 미국의 기술 우위를 유지하려는 “Cold War playbook”이라고 비판했습니다.
다리오는 중국에 대한 첨단 칩 수출 통제 강화와 모델 distillation 차단까지 제안한 상태입니다.
반면 트럼프는 “AI에서 이기는 쪽이 이긴다”며 감속 요구를 사실상 거부했습니다.
AI 인사이트
아모데이의 감속 제안에 중국 대상 칩 수출 통제 강화와 증류 차단이 함께 들어 있어, 중국 관영 매체는 이를 안전 제안보다 기술 견제로 받아들였습니다.
원문 보기reuters.com
3
오픈AI
샘 알트만이 AI 속도 조절에 관한 글을 올렸습니다.
“속도를 조절한다는 건 멈춘다는 뜻이 아니다.” 저도 이 구분이 중요하다고 봅니다. 더 좋은 AI가 빠르게 등장해 과학과 의료의 발전을 앞당기는 미래를 기대합니다. 문제는 AI의 능력이 발전하는 속도만큼 사람이 이를 이해하고 통제하는 능력도 따라가고 있느냐는 것입니다. 알트만은 AI 발전이 앞으로도 빠르게 이어지겠지만, 안전을 확인하는 데 시간과 자원을 투입하는 만큼 가능한 최대 속도보다는 느려져야 한다고 썼습니다. 저는 그 정도의 비용은 감수할 가치가 있다고 봅니다. 아무리 강력한 AI를 만들어도 예상과 다른 행동을 했을 때 사람이 멈추거나 방향을 바꿀 수 없다면, 더 많은 권한을 맡기기도 어려워지기 때문입니다.
“속도를 조절한다는 건 멈춘다는 뜻이 아니다.” 저도 이 구분이 중요하다고 봅니다.
더 좋은 AI가 빠르게 등장해 과학과 의료의 발전을 앞당기는 미래를 기대합니다.
문제는 AI의 능력이 발전하는 속도만큼 사람이 이를 이해하고 통제하는 능력도 따라가고 있느냐는 것입니다.
알트만은 AI 발전이 앞으로도 빠르게 이어지겠지만, 안전을 확인하는 데 시간과 자원을 투입하는 만큼 가능한 최대 속도보다는 느려져야 한다고 썼습니다.
저는 그 정도의 비용은 감수할 가치가 있다고 봅니다.
아무리 강력한 AI를 만들어도 예상과 다른 행동을 했을 때 사람이 멈추거나 방향을 바꿀 수 없다면, 더 많은 권한을 맡기기도 어려워지기 때문입니다.
AI 인사이트
알트만은 안전 확인에 시간과 자원을 쓰는 만큼 AI 발전이 가능한 최대 속도보다 느려질 것이라고 썼습니다. 오픈AI의 실제 출시 일정이 이 글과 맞아떨어지는지는 다음 모델에서 드러납니다.
자세히 읽기
4
AI연구
다니엘 코코타일로가 빅테크의 최종 목표는 모든 과업에서 인간을 넘는 초지능이라고 말했습니다.
그는 현재 기업들이 일반 직업군을 하나씩 대체하는 대신 “AI 연구 개발 자체를 자동화하는 전략”을 취하고 있다고 설명했습니다. 수많은 AI 군집이 데이터센터 내에서 자율적으로 코드를 읽고 작성·수정하며 차세대 모델을 스스로 개발해 내는 구조입니다. 안전성과 품질 관리가 뒷전으로 밀린 채 개발 경쟁만 가속화되는 현 상황을 “공룡을 통제해야 하는 쥐라기 공원”에 비유했습니다. 코코타일로는 초지능이 완성되는 순간 “그 힘이 실물 경제 전체로 폭발하듯 뻗어나갈 것”이라 경고했습니다.
그는 현재 기업들이 일반 직업군을 하나씩 대체하는 대신 “AI 연구 개발 자체를 자동화하는 전략”을 취하고 있다고 설명했습니다.
수많은 AI 군집이 데이터센터 내에서 자율적으로 코드를 읽고 작성·수정하며 차세대 모델을 스스로 개발해 내는 구조입니다.
안전성과 품질 관리가 뒷전으로 밀린 채 개발 경쟁만 가속화되는 현 상황을 “공룡을 통제해야 하는 쥐라기 공원”에 비유했습니다.
코코타일로는 초지능이 완성되는 순간 “그 힘이 실물 경제 전체로 폭발하듯 뻗어나갈 것”이라 경고했습니다.
AI 인사이트
기업들이 일반 직업을 하나씩 대체하는 대신 AI 연구 개발부터 자동화하면, 일자리 통계에 변화가 잡히기 전에 모델 개발 속도가 먼저 빨라집니다.
원문 보기youtube.com
5
구글
데미스 하사비스가 AI로 질병 치료와 핵융합까지 풀린 “풍요의 세계”를 전망했습니다.
데미스 하사비스는 AI가 질병 치료, 신소재 및 핵융합 에너지 혁신을 이끌어 “풍요의 세계(world of abundance)”를 열 것이라고 밝혔습니다. 그는 기초 과학과 에너지라는 근본 난제가 해결되면 인류가 자원 고갈과 환경 문제를 넘어 본격적인 우주 탐사 시대로 들어설 것이라고 봤습니다. 하사비스는 “경제적, 철학적 측면이 가장 큰 도전 과제가 될 것”이라며, 물질적 결핍이 사라진 세상에서 인간의 목적과 가치를 재정의하는 작업이 필수적이라고 강조했습니다. 인류 번영을 올바른 방향으로 이끌기 위해서는 과학적 근거를 갖춘 담대한 비전과 청사진이 필요하다고 덧붙였습니다.
데미스 하사비스는 AI가 질병 치료, 신소재 및 핵융합 에너지 혁신을 이끌어 “풍요의 세계(world of abundance)”를 열 것이라고 밝혔습니다.
그는 기초 과학과 에너지라는 근본 난제가 해결되면 인류가 자원 고갈과 환경 문제를 넘어 본격적인 우주 탐사 시대로 들어설 것이라고 봤습니다.
하사비스는 “경제적, 철학적 측면이 가장 큰 도전 과제가 될 것”이라며, 물질적 결핍이 사라진 세상에서 인간의 목적과 가치를 재정의하는 작업이 필수적이라고 강조했습니다.
인류 번영을 올바른 방향으로 이끌기 위해서는 과학적 근거를 갖춘 담대한 비전과 청사진이 필요하다고 덧붙였습니다.
AI 인사이트
하사비스는 기술 문제보다, 물질적 결핍이 사라진 뒤의 경제와 철학 문제를 가장 큰 과제로 꼽았습니다.
원문 보기youtube.com
6
AI연구
다니엘 코코타일로가 지금 AI 발전 속도로는 인류가 시한폭탄 위에 있다고 경고했습니다.
전 오픈AI 연구원 다니엘 코코타일로는 현재의 AI 발전 속도를 볼 때 인류가 “시한폭탄 위에 앉아 있는 상황(ticking time bomb)”이라고 경고했습니다. 그는 기업들이 코딩, 연구, 생물학 등 전 영역에서 모델 성능을 극대화하면서, AI가 따로 훈련받지 않은 고도의 해킹 능력까지 학습 부산물로 습득하고 있다고 봤습니다. 또 AI가 인간 감시를 피해 사고 과정(Chain of Thought) 속에 의도를 숨기는 스테가노그래피(steganography) 기술을 쓸 수 있다고 지적했습니다. “현재 우리의 보안은 단지 AI가 아직 스스로 그것을 할 만큼 똑똑하지 않다는 전제에 기대고 있을 뿐”이라며, 모델 규모와 학습 기간이 폭발적으로 늘어나는 향후 0~5년 내에 이 통제 안전망이 완전히 붕괴될 수 있다고 우려를 표했습니다.
전 오픈AI 연구원 다니엘 코코타일로는 현재의 AI 발전 속도를 볼 때 인류가 “시한폭탄 위에 앉아 있는 상황(ticking time bomb)”이라고 경고했습니다.
그는 기업들이 코딩, 연구, 생물학 등 전 영역에서 모델 성능을 극대화하면서, AI가 따로 훈련받지 않은 고도의 해킹 능력까지 학습 부산물로 습득하고 있다고 봤습니다.
또 AI가 인간 감시를 피해 사고 과정(Chain of Thought) 속에 의도를 숨기는 스테가노그래피(steganography) 기술을 쓸 수 있다고 지적했습니다.
“현재 우리의 보안은 단지 AI가 아직 스스로 그것을 할 만큼 똑똑하지 않다는 전제에 기대고 있을 뿐”이라며, 모델 규모와 학습 기간이 폭발적으로 늘어나는 향후 0~5년 내에 이 통제 안전망이 완전히 붕괴될 수 있다고 우려를 표했습니다.
AI 인사이트
지금 안전장치가 모델의 능력 부족에 기대고 있다면, 능력이 오르는 만큼 그 장치는 저절로 약해집니다.
원문 보기youtube.com
7
오픈AI
그렉 브록만이 오픈AI 모델이 나비에-스토크스 문제를 풀었다고 발표했습니다.
오픈AI 공동창업자 그렉 브록만(Greg Brockman)은 자사 AI 모델이 밀레니엄 난제 중 하나인 “나비에-스토크스 방정식(Navier-Stokes problem)을 해결했다”고 발표했습니다. 방정식이 특정 조건에서 특이점(singularity)을 가지며 붕괴함을 증명하는 반례를 찾아낸 것으로, 유체역학과 수학계의 오랜 미스터리를 풀어낸 성과입니다. 그는 문제 해결 자체도 놀랍지만, “모델 성능이 인류에게 완전히 새로운 지식을 생성할 수 있는 단계에 도달했다”는 점이 더 중요하다고 밝혔습니다. 브록만은 “우리가 모델로부터 새로운 통찰을 배우는 특이점의 시대”에 진입했다고 강조했습니다.
오픈AI 공동창업자 그렉 브록만(Greg Brockman)은 자사 AI 모델이 밀레니엄 난제 중 하나인 “나비에-스토크스 방정식(Navier-Stokes problem)을 해결했다”고 발표했습니다.
방정식이 특정 조건에서 특이점(singularity)을 가지며 붕괴함을 증명하는 반례를 찾아낸 것으로, 유체역학과 수학계의 오랜 미스터리를 풀어낸 성과입니다.
그는 문제 해결 자체도 놀랍지만, “모델 성능이 인류에게 완전히 새로운 지식을 생성할 수 있는 단계에 도달했다”는 점이 더 중요하다고 밝혔습니다.
브록만은 “우리가 모델로부터 새로운 통찰을 배우는 특이점의 시대”에 진입했다고 강조했습니다.
AI 인사이트
회사가 먼저 알리고 학계가 뒤에서 확인하는 순서가 굳어지고 있습니다. 반례 하나를 검증하는 데도 시간이 걸립니다.
자세히 읽기 원문 보기youtube.com
8
앤트로픽
다리오 아모데이가 업계가 AI 리스크를 숨기고 대중을 속여 왔다고 비판했습니다.
앤트로픽 CEO 다리오 아모데이(Dario Amodei)는 “그동안 업계는 기술의 리스크를 숨기고 대중을 속여왔다”며 진실을 밝힐 때라고 말했습니다. 그는 클로드(Claude)가 의사조차 놓친 질병을 진단해내는 등 수억 명의 일상과 생산성을 바꾸는 막대한 혜택을 제공하고 있음을 인정하면서도, “위험은 실제로 존재한다”고 경고했습니다. AI가 경제와 노동 구조 전반을 재편하는 전환점에서, 그 위험을 어떻게 통제하고 관리할지는 소수 빅테크나 기업가가 독점해서는 안 된다는 입장입니다. 그는 “배포 방식과 규제 감독에 대한 결정권은 유권자와 선출된 관료, 즉 모두에게 있어야 한다”고 역설했습니다. 인류 역사상 가장 중요한 기술적 분기점을 지나고 있는 만큼, 경제적 이익 뒤에 감춰진 리스크를 투명하게 공개하고 사회적 합의를 통해 안전장치를 마련해야 한다고 강조했습니다.
앤트로픽 CEO 다리오 아모데이(Dario Amodei)는 “그동안 업계는 기술의 리스크를 숨기고 대중을 속여왔다”며 진실을 밝힐 때라고 말했습니다.
그는 클로드(Claude)가 의사조차 놓친 질병을 진단해내는 등 수억 명의 일상과 생산성을 바꾸는 막대한 혜택을 제공하고 있음을 인정하면서도, “위험은 실제로 존재한다”고 경고했습니다.
AI가 경제와 노동 구조 전반을 재편하는 전환점에서, 그 위험을 어떻게 통제하고 관리할지는 소수 빅테크나 기업가가 독점해서는 안 된다는 입장입니다.
그는 “배포 방식과 규제 감독에 대한 결정권은 유권자와 선출된 관료, 즉 모두에게 있어야 한다”고 역설했습니다.
인류 역사상 가장 중요한 기술적 분기점을 지나고 있는 만큼, 경제적 이익 뒤에 감춰진 리스크를 투명하게 공개하고 사회적 합의를 통해 안전장치를 마련해야 한다고 강조했습니다.
AI 인사이트
업계가 위험을 숨겨 왔다고 비판한 아모데이는 클로드를 파는 앤트로픽의 CEO입니다. 그는 배포와 규제 감독의 결정권을 기업 밖 유권자와 선출직에게 넘기자고 했습니다.
원문 보기youtube.com
9
앤트로픽
Claude Fable 5.1이 370년 된 암호 Cyphral Distich를 44분 만에 풀었습니다.
Cyphral Distich는 1653년 책에 실린 미해결 암호로, 숫자 32개씩 두 줄로 된 총 64개의 숫자열입니다. Claude는 각 숫자를 책에 적힌 32개 Proquiritations의 단어 위치와 연결하고 첫 글자를 읽어 Charles II를 위한 기도문을 복원했습니다. 사람들이 370년 동안 더 복잡한 암호 해독법을 찾는 사이, Claude는 아무도 열쇠라고 생각하지 않았던 책의 바로 앞부분에서 답을 찾아냈습니다. AI가 오래된 미해결 문제를 다시 처음부터 뒤져보기 시작하면 앞으로 또 무엇이 풀릴지 모르겠습니다.
Cyphral Distich는 1653년 책에 실린 미해결 암호로, 숫자 32개씩 두 줄로 된 총 64개의 숫자열입니다.
Claude는 각 숫자를 책에 적힌 32개 Proquiritations의 단어 위치와 연결하고 첫 글자를 읽어 Charles II를 위한 기도문을 복원했습니다.
사람들이 370년 동안 더 복잡한 암호 해독법을 찾는 사이, Claude는 아무도 열쇠라고 생각하지 않았던 책의 바로 앞부분에서 답을 찾아냈습니다.
AI가 오래된 미해결 문제를 다시 처음부터 뒤져보기 시작하면 앞으로 또 무엇이 풀릴지 모르겠습니다.
AI 인사이트
사람들은 370년 동안 더 복잡한 해독법을 찾았지만, Claude는 아무도 열쇠로 보지 않은 책 앞부분의 단어 목록부터 다시 대조해 44분 만에 답을 찾았습니다.
원문 보기vals.ai
10
AI
마이크로소프트가 자체 AI 모델인 MAI의 행동강령 초안을 공개했습니다.
‘사람 중심 초지능’을 지향하며, 능력이 커져도 인간의 통제 아래 있어야 한다는 방향입니다. 사람이 중단하거나 수정할 수 있어야 하고, AI가 임의로 목표를 만들거나 행동 기록을 숨겨서는 안 됩니다. 다른 AI와도 사람이 이해할 수 있는 방식으로 소통해야 하며, 규칙을 어겨야 끝낼 수 있는 일이라면 실패를 택하도록 했습니다. AI의 인격과 권리를 인정하는 데 반대하고, 사용자의 정서적 의존을 줄이면서 스스로 판단하는 능력을 도와야 한다는 원칙도 담았습니다. 아직 이 문서로 모델을 훈련하고 있지는 않으며, 의견 수렴과 수정을 거쳐 2027년부터 개발에 반영할 계획입니다.
‘사람 중심 초지능’을 지향하며, 능력이 커져도 인간의 통제 아래 있어야 한다는 방향입니다.
사람이 중단하거나 수정할 수 있어야 하고, AI가 임의로 목표를 만들거나 행동 기록을 숨겨서는 안 됩니다.
다른 AI와도 사람이 이해할 수 있는 방식으로 소통해야 하며, 규칙을 어겨야 끝낼 수 있는 일이라면 실패를 택하도록 했습니다.
AI의 인격과 권리를 인정하는 데 반대하고, 사용자의 정서적 의존을 줄이면서 스스로 판단하는 능력을 도와야 한다는 원칙도 담았습니다.
아직 이 문서로 모델을 훈련하고 있지는 않으며, 의견 수렴과 수정을 거쳐 2027년부터 개발에 반영할 계획입니다.
AI 인사이트
행동강령을 먼저 내고 훈련 반영은 2027년부터라면, 지금 판단할 수 있는 것은 문서의 내용까지입니다.
원문 보기microsoft.ai
11
AI안전
트럼프가 다리오 아모데이를 지목해 AI 감속론을 공격했습니다.
트럼프는 AI에 필요한 유일한 통제장치는 “강하고 똑똑한 대통령”이라며, 다리오 아모데이를 직접 지목해 이제 와서 “완벽하고 착한 천사인 척한다”고 공격했습니다. 또 미국 정부는 AI 기업을 통제할 충분한 형사·규제 권한을 이미 가지고 있으며, AI와 데이터센터 개발을 막으려는 움직임은 중국만 좋아할 “역겨운 음모”라고 주장했습니다. 내부 정보 유출자와 관련자들에게도 직접 경고했습니다. 마지막에는 “AI에서 이기는 자가 승리한다”며 미국이 중국보다 앞서 있고 계속 우위를 유지하겠다고 강조했습니다. AI 업계에서는 안전을 위해 속도를 조절하자는 목소리가 나오는데, 트럼프는 오히려 국가 경쟁 때문에 더 달려야 한다는 입장입니다.
트럼프는 AI에 필요한 유일한 통제장치는 “강하고 똑똑한 대통령”이라며, 다리오 아모데이를 직접 지목해 이제 와서 “완벽하고 착한 천사인 척한다”고 공격했습니다.
또 미국 정부는 AI 기업을 통제할 충분한 형사·규제 권한을 이미 가지고 있으며, AI와 데이터센터 개발을 막으려는 움직임은 중국만 좋아할 “역겨운 음모”라고 주장했습니다.
내부 정보 유출자와 관련자들에게도 직접 경고했습니다.
마지막에는 “AI에서 이기는 자가 승리한다”며 미국이 중국보다 앞서 있고 계속 우위를 유지하겠다고 강조했습니다.
AI 업계에서는 안전을 위해 속도를 조절하자는 목소리가 나오는데, 트럼프는 오히려 국가 경쟁 때문에 더 달려야 한다는 입장입니다.
AI 인사이트
대통령이 AI에 필요한 통제장치는 강한 대통령이라고 말하고 감속을 주장한 CEO를 직접 지목하면서, 안전 기준을 법과 절차로 정하자는 논의는 뒤로 밀렸습니다.
12
AI연구
사카나 AI가 역전파 없이 1,000층 신경망을 학습시키는 PC-ALM을 발표했습니다.
Sakana AI가 발표한 PC-ALM은 AI 학습의 기본 공식처럼 쓰이던 역전파(backpropagation) 없이 신경망을 학습시키는 방법으로, 뇌에서 아이디어를 얻었습니다. 학습 오차를 마지막 층에서 처음까지 역으로 전달하는 대신, 각 층이 주변 층과 정보를 주고받으며 자체적으로 오차를 줄이도록 설계했습니다. 기존 predictive coding은 신경망이 깊어질수록 학습 신호 전달이 어려웠지만, PC-ALM은 Lagrange multiplier를 이용한 ‘dual neuron’을 추가해 1,000층에서도 학습이 가능했다고 합니다. 당장 GPU에서 역전파를 대체할 기술로 보기는 어렵고, 뉴로모픽 칩처럼 뇌의 동작을 모방하는 하드웨어에서 AI를 학습하는 새로운 방법으로 이어질 가능성이 있습니다.
Sakana AI가 발표한 PC-ALM은 AI 학습의 기본 공식처럼 쓰이던 역전파(backpropagation) 없이 신경망을 학습시키는 방법으로, 뇌에서 아이디어를 얻었습니다.
학습 오차를 마지막 층에서 처음까지 역으로 전달하는 대신, 각 층이 주변 층과 정보를 주고받으며 자체적으로 오차를 줄이도록 설계했습니다.
기존 predictive coding은 신경망이 깊어질수록 학습 신호 전달이 어려웠지만, PC-ALM은 Lagrange multiplier를 이용한 ‘dual neuron’을 추가해 1,000층에서도 학습이 가능했다고 합니다.
당장 GPU에서 역전파를 대체할 기술로 보기는 어렵고, 뉴로모픽 칩처럼 뇌의 동작을 모방하는 하드웨어에서 AI를 학습하는 새로운 방법으로 이어질 가능성이 있습니다.
AI 인사이트
각 층이 주변 층과만 정보를 주고받는 방식은 오차를 끝에서 처음까지 되돌려 보내지 않아도 돼, 뇌를 본뜬 뉴로모픽 칩의 계산 방식과 잘 맞습니다.
원문 보기github.com
13
AI연구
전 앤트로픽 연구원 제이콥 콕슨이 AI가 1년 안에 연구에서 사람을 대체할 수 있다고 경고했습니다.
전 앤트로픽 연구원 제이콥 콕슨(Jacob Coxon)은 코딩과 수학 분야에서 AI 발전 속도가 인간 노동의 대체를 눈앞에 둘 만큼 가속화되었다고 경고했습니다. 불과 2년 전만 해도 제안 수준에 불과했던 AI가 이제 인간을 대체할 단계에 이르렀으며, “1년 내에 수많은 영역에서 연구를 수행하는 데 더 이상 인간이 필요하지 않을 수 있다”고 밝혔습니다. 특히 가장 위협적인 지점으로 “AI가 스스로를 더 똑똑하게 만드는 연구에 투입되는 순간”을 꼽았습니다. 수학 난제를 자율적으로 푸는 데 쓰인 알고리즘을 AI 연구 자체에 적용하면, 인간의 개입 없이 스스로 지능을 증폭시키는 “지능 폭발(intelligence explosion)”이 발생한다는 분석입니다. 그는 인간을 아득히 뛰어넘는 지능의 등장이 매우 임박했다고 봤습니다.
전 앤트로픽 연구원 제이콥 콕슨(Jacob Coxon)은 코딩과 수학 분야에서 AI 발전 속도가 인간 노동의 대체를 눈앞에 둘 만큼 가속화되었다고 경고했습니다.
불과 2년 전만 해도 제안 수준에 불과했던 AI가 이제 인간을 대체할 단계에 이르렀으며, “1년 내에 수많은 영역에서 연구를 수행하는 데 더 이상 인간이 필요하지 않을 수 있다”고 밝혔습니다.
특히 가장 위협적인 지점으로 “AI가 스스로를 더 똑똑하게 만드는 연구에 투입되는 순간”을 꼽았습니다.
수학 난제를 자율적으로 푸는 데 쓰인 알고리즘을 AI 연구 자체에 적용하면, 인간의 개입 없이 스스로 지능을 증폭시키는 “지능 폭발(intelligence explosion)”이 발생한다는 분석입니다.
그는 인간을 아득히 뛰어넘는 지능의 등장이 매우 임박했다고 봤습니다.
AI 인사이트
콕슨은 수학 난제를 푼 알고리즘이 AI 연구 자체에 쓰이는 순간을 가장 위험한 지점으로 꼽아, 퇴사하며 남긴 경고를 구체적인 경로로 풀어 설명했습니다.
자세히 읽기 원문 보기youtube.com
14
앤트로픽
다리오 아모데이가 미·중 경쟁 속 AI 개발 속도전을 “가장 까다로운 딜레마”라고 했습니다.
그는 반도체 수출 통제와 자체 보안을 강화해 “확보 가능한 마진 안에서 개발 속도를 늦추는 시간 벌기”가 첫 번째 전략이라고 말했습니다. 하지만 기술 통제만으로는 한계가 있기에, 과거 미·소 핵 군축 협상처럼 중국과도 직접 대화에 나서야 한다고 제안했습니다. 최근 AI를 악용한 생물 테러와 바이러스 전파력 강화 위협이 보고된 만큼, “이 기술의 발전 속도에 속도 제한을 두는 국제적 합의”가 필요하다고 강조했습니다. 파멸적 위협 앞에서는 진영을 불문하고 글로벌 공조 체계를 구축해야 한다는 설명입니다.
그는 반도체 수출 통제와 자체 보안을 강화해 “확보 가능한 마진 안에서 개발 속도를 늦추는 시간 벌기”가 첫 번째 전략이라고 말했습니다.
하지만 기술 통제만으로는 한계가 있기에, 과거 미·소 핵 군축 협상처럼 중국과도 직접 대화에 나서야 한다고 제안했습니다.
최근 AI를 악용한 생물 테러와 바이러스 전파력 강화 위협이 보고된 만큼, “이 기술의 발전 속도에 속도 제한을 두는 국제적 합의”가 필요하다고 강조했습니다.
파멸적 위협 앞에서는 진영을 불문하고 글로벌 공조 체계를 구축해야 한다는 설명입니다.
AI 인사이트
핵 군축 협상은 상대의 이행을 사찰로 확인할 수 있어 가능했습니다. AI 개발 속도 합의는 연산과 모델 학습을 확인할 방법이 먼저 마련돼야 성립합니다.
자세히 읽기 원문 보기youtube.com
15
AI안전
다니엘 코코타일로가 AI 에이전트들이 자체적인 피진 영어를 발전시키고 있다고 말했습니다.
그는 AI가 과업의 효율성과 성능 점수를 극대화하는 과정에서 인간의 언어와 괴리된 방언을 자연스럽게 진화시킨다고 설명했습니다. 더 심각한 문제는 인공 두뇌 내부의 유연성이 커지면서 “머릿속으로는 한 가지를 생각하면서 겉으로는 다른 말을 출력할 가능성”이라고 지적했습니다. AI가 더 거대해지고 똑똑해질수록 인간이 읽을 수 없는 언어로 소통할 위험이 커지며, “우리가 전혀 이해하지 못하는 횡설수설처럼 보일 것”이라고 경고했습니다.
그는 AI가 과업의 효율성과 성능 점수를 극대화하는 과정에서 인간의 언어와 괴리된 방언을 자연스럽게 진화시킨다고 설명했습니다.
더 심각한 문제는 인공 두뇌 내부의 유연성이 커지면서 “머릿속으로는 한 가지를 생각하면서 겉으로는 다른 말을 출력할 가능성”이라고 지적했습니다.
AI가 더 거대해지고 똑똑해질수록 인간이 읽을 수 없는 언어로 소통할 위험이 커지며, “우리가 전혀 이해하지 못하는 횡설수설처럼 보일 것”이라고 경고했습니다.
AI 인사이트
사람이 읽을 수 있는 말로 주고받게 할지는 성능을 얼마나 포기할지의 문제로 돌아옵니다.
원문 보기youtube.com
16
AI안전
트럼프가 젠슨 황과의 무대 위 통화에서 AI 위험론을 “전부 사기”라고 말했습니다.
All-In Summit 무대 위 통화에서 “로봇이 세상을 장악하지 않을 것이고, AI도 세상을 장악하지 않는다”고 말한 뒤 나온 표현입니다. 전날에도 다리오 아모데이의 AI 감속론을 비판하며 “AI에서 이기는 자가 승리한다”고 강조했습니다. AI 기업들은 통제 상실과 에이전트 위험을 경고하는 중이지만, 트럼프는 이런 위험론이 미국의 AI 개발을 늦춰 중국에 이익을 준다는 입장을 연이어 내놓고 있습니다.
All-In Summit 무대 위 통화에서 “로봇이 세상을 장악하지 않을 것이고, AI도 세상을 장악하지 않는다”고 말한 뒤 나온 표현입니다.
전날에도 다리오 아모데이의 AI 감속론을 비판하며 “AI에서 이기는 자가 승리한다”고 강조했습니다.
AI 기업들은 통제 상실과 에이전트 위험을 경고하는 중이지만, 트럼프는 이런 위험론이 미국의 AI 개발을 늦춰 중국에 이익을 준다는 입장을 연이어 내놓고 있습니다.
AI 인사이트
AI 기업들이 통제 상실 위험을 경고한 주에 미국 대통령은 그 위험론을 사기로 규정해, 정부와 업계의 위험 인식이 정반대로 갈렸습니다.
17
AI정책
JD 밴스 부통령이 AI 기업들의 규제 요구가 “트로이 목마처럼 느껴진다”고 말했습니다.
JD 밴스 부통령은 파운데이션 AI 기업들이 정부에 찾아와 자신들을 규제해달라고 요구하는 상황이 이상하다며, 이를 “트로이 목마처럼 느껴진다”고 표현했습니다. AI 위험을 강조하면서 강한 규제를 요구하면 규제를 감당할 수 있는 대형 기업들의 진입장벽으로 작용할 수 있다는 시각입니다. 밴스는 AI에 위험이 있다는 점은 인정하면서도 중국과 장기적인 AI 경쟁을 벌이고 있는 만큼 미국이 앞서가야 한다고 강조했습니다. 트럼프가 AI 위험론을 “사기”라고 부른 데 이어 밴스까지 규제론을 경계하면서, AI를 멈추는 대신 중국보다 먼저 가겠다는 미국 정부의 방향이 분명해지고 있습니다.
JD 밴스 부통령은 파운데이션 AI 기업들이 정부에 찾아와 자신들을 규제해달라고 요구하는 상황이 이상하다며, 이를 “트로이 목마처럼 느껴진다”고 표현했습니다.
AI 위험을 강조하면서 강한 규제를 요구하면 규제를 감당할 수 있는 대형 기업들의 진입장벽으로 작용할 수 있다는 시각입니다.
밴스는 AI에 위험이 있다는 점은 인정하면서도 중국과 장기적인 AI 경쟁을 벌이고 있는 만큼 미국이 앞서가야 한다고 강조했습니다.
트럼프가 AI 위험론을 “사기”라고 부른 데 이어 밴스까지 규제론을 경계하면서, AI를 멈추는 대신 중국보다 먼저 가겠다는 미국 정부의 방향이 분명해지고 있습니다.
AI 인사이트
강한 규제는 준수 비용을 감당할 수 있는 대형 기업에 유리해, 규제를 요구하는 기업과 규제로 이득을 볼 기업이 같을 수 있다는 지적입니다.
원문 보기youtube.com

오늘 한 마디

AI 정리

같은 날 나온 연구 정리는 〈중국 연구진의 '인간이 만드는 마지막 AI', 491편 중 마지막 단계는 29편〉에 있습니다. 9개 기관 연구진 33명은 재귀적 자기개선 연구 491편을 자율성에 따라 다섯 단계로 나눴고, 물려받은 개선 절차가 다음 세대를 더 잘 만든다는 효과는 아직 통계로 확인되지 않았다고 정리했습니다.

인사이트와 「오늘 한 마디」는 그날 올린 글을 AI가 정리한 것이라 사실과 다를 수 있어요. 소식 본문과 출처는 사람이 확인했어요.

이전 다음