# "2025년 AGI를 믿었다" 오픈AI 추론 이끈 트워렉, 트랜스포머 대체에 나서
_Training Data · 제리 트워렉, 로한 아닐 · 2026년 7월 29일_
- 매체: 초이의 뉴스레터 · 팟캐스트
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-07-30T10:00
- 링크: https://choi-newsletter.com/post/podcast-training-data-tworek-anil-automated-lab
- 답하는 질문: 제리 트워렉의 Core Automation은 무엇을 연구하나
- 직답: 배포된 뒤에도 계속 배우는 모델을 위해 트랜스포머를 대신할 구조를 찾고, 그 연구를 AI로 자동화하는 연구소를 만들고 있습니다.
- 에피소드: Training Data · https://pscrb.fm/rss/p/traffic.megaphone.fm/CPUAI4789823358.mp3
- 출처: YouTube, Sequoia Capital, Building the Automated AGI Lab: Core Automation's Jerry Tworek and Rohan Anil (2026-07-29) (https://www.youtube.com/watch?v=2RJiaf0SY8s), Apple Podcasts 에피소드 페이지 (https://podcasts.apple.com/us/podcast/building-the-automated-agi-lab-core-automations-jerry/id1750736528?i=1000778868298), Core Automation 공식 웹사이트 (https://www.coreauto.com/), Core Automation X, 창업 공지 (2026-04-21) (https://x.com/coreauto/status/2046658700606312563), Core Automation X, 연말까지 기술 인력 25명 이하 (2026-05) (https://x.com/coreauto/status/2055515959264428333), 제리 트워렉 X, 오픈AI 퇴사 메모 (2026-01-05) (https://x.com/MillionInt/status/2008237251751534622), 제리 트워렉 X, 트랜스포머를 대체하는 첫걸음 (2026-07-07) (https://x.com/MillionInt/status/2074538871027822775), 소냐 황 X, 에피소드 소개 (2026-07-29) (https://x.com/sonyatweetybird/status/2082549709223436658), GPU MODE 순위표, qr (B200, 2026-06-30 마감) (https://www.gpumode.com/leaderboard/773), GPU MODE 순위표, qr_v2 (B200, 2026-06-30 마감) (https://www.gpumode.com/leaderboard/774), GPU MODE 순위표, cholesky (B200, 2026-07-30 마감) (https://www.gpumode.com/leaderboard/776), Core Automation × Tilde Research, One Layer Deeper 대회 (https://onelayerdeeper.ai/), Tilde Research, One Layer Deeper 공개 글 (https://blog.tilderesearch.com/blog/one-layer-deeper), Kaplan 외, Scaling Laws for Neural Language Models (arXiv 2001.08361) (https://arxiv.org/abs/2001.08361), Gupta·Koren·Singer, Shampoo: Preconditioned Stochastic Tensor Optimization (arXiv 1802.09568) (https://arxiv.org/abs/1802.09568), Anil 외, Scalable Second Order Optimization for Deep Learning (arXiv 2002.09018) (https://arxiv.org/abs/2002.09018), Roy·Anil 외, N-Grammer: Augmenting Transformers with latent n-grams (arXiv 2207.06366) (https://arxiv.org/abs/2207.06366), Vyas 외, SOAP: Improving and Stabilizing Shampoo using Adam (arXiv 2409.11321) (https://arxiv.org/abs/2409.11321), DeepSeek, Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models (arXiv 2601.07372) (https://arxiv.org/abs/2601.07372), Pacing the Frontier 성명 (https://www.pacingthefrontier.com/)
> 오픈AI 추론 팀을 이끈 제리 트워렉과 제미나이 사전학습을 이끈 로한 아닐이 7월 29일 세쿼이아 팟캐스트에 나왔습니다. 트랜스포머로는 배포 뒤에도 계속 배우는 모델을 만들 수 없다며, 연구를 자동화해 대체 구조를 찾겠다고 했습니다.

오픈AI에서 추론 모델 팀을 이끈 제리 트워렉(Jerry Tworek)과 구글 제미나이의 사전학습을 공동으로 이끈 로한 아닐(Rohan Anil)이 7월 29일(미국 시각) 공개된 세쿼이아캐피털 팟캐스트 「Training Data」에 나왔습니다. 두 사람은 4월 세운 Core Automation에서 트랜스포머를 대신할 신경망 구조를 찾고 있고, 이유로 지금의 모델은 연구소에서 훈련된 뒤 세상에 나가면 더 배우지 못한다는 점을 들었습니다. 트워렉은 2024년의 자신이라면 AGI가 2025년에 온다고 답했을 거라고 털어놓았습니다.

진행자인 세쿼이아 파트너 소냐 황이 공개 당일 X에 올린 소개 글입니다. 트랜스포머를 키우는 데 가장 크게 이바지한 두 사람이 다음 무대에 베팅한다며, 대화의 두 주장을 추렸습니다. 모델은 연구소에서 훈련되고 현실에서 쓰이는데 떠난 뒤에는 배우지 못한다는 것, 그리고 AI 연구를 모델이 사람보다 빠르고 체계적으로 탐색하게 된다는 것입니다. 소냐 황은 두 번째 주장이 그 주에 나온 성명 때문에 논쟁적이지만 시의적절하다고 덧붙였습니다.

## 트랜스포머에 보내는 감사

소냐 황은 아주 매운 주장이라며 트워렉이 7월 7일(미국 시각) X에 올린 한 줄을 먼저 꺼냈습니다. 트워렉은 요즘 인터뷰의 상당 부분이 자기 트윗을 설명하는 일이라며 웃었습니다.

트랜스포머를 대체하는 첫걸음은 그것이 우리를 얼마나 멀리 데려왔는지 깊이 이해하는 데 있다는 글입니다. 추도사냐는 물음에 트워렉은 강점을 아는 것과 약점을 아는 것이 같은 일이라고 답했습니다. 그가 보기에 구조 연구의 대부분은 트랜스포머를 더 싸고 효율적으로 만드는 데 쏠려 있고, 더 강하게 만들려는 시도는 드뭅니다. 업계는 대규모 사전학습과 대규모 강화학습이라는 두 알고리즘을 익혔고, 지난 6년 동안 MoE(전문가 혼합)와 어텐션이라는 같은 두 연산에 파라미터를 더해 왔으니 이제 병목은 구조 자체라는 설명입니다.

## 2025년에 AGI가 온다고 믿었던 사람

트워렉은 1월 5일(미국 시각) 오픈AI를 떠나며 팀에 보낸 메모를 X에 공개했습니다. 7년 가까이 일하며 로봇에 강화학습을 키우는 일, 코딩 붐을 연 첫 코딩 모델, 친칠라라는 이름이 붙기 전의 친칠라 스케일링, GPT-4와 ChatGPT, 그리고 추론 모델이라는 새 방식을 세운 팀을 거쳤다고 적었습니다. 떠나는 이유로는 오픈AI에서 하기 어려운 종류의 연구를 해 보고 싶다는 것을 들었습니다.

대화에서 그는 자신을 강화학습 최대주의자로 불렀습니다. GPT-3에서 GPT-4로 언어 모델이 커지는 동안 강화학습은 거의 쓰이지 않았고, 강화학습을 키우기 시작하면 모든 것이 풀린다고 믿었다고 합니다.

> 2024년의 제리에게 AGI가 언제 오느냐고 물었다면, 2025년이 모든 걸 푸는 해가 될 거라고 답했을 겁니다.
> — 제리 트워렉, Core Automation 공동창업자 (Training Data)

모델을 하나씩 훈련할수록 벤치마크 점수는 올랐지만 현실의 과제까지 풀리지는 않았다고 했습니다. 평가에 쓰는 과제와 훈련에 쓰는 과제가 같은 동전의 양면이었고, 현실의 과제 분포는 훨씬 지저분하다는 겁니다. 모델을 훈련하는 사람들은 하나같이 어려운 과제가 모자라다고 호소하는데, 그렇게 과제를 모아도 현실 전체를 덮지는 못한다는 것이 그의 결론입니다.

## 20분이면 차는 문맥, 잊어버리는 미세조정

그래서 필요한 것이 사용자의 데이터와 과제로 쓰는 도중에 배우는 모델, 곧 테스트 시점 학습이라고 트워렉은 말했습니다. 지금 쓸 수 있는 방법은 두 가지로, 문맥 안에서 배우는 방식은 배운 것을 잊는 파국적 망각이 없고 데이터 효율도 좋지만 양이 적어서, 자신은 코덱스를 20분쯤 쓰면 문맥을 압축하고 넘어가야 한다고 했습니다. 모델을 계속 미세조정하는 방식은 파국적 망각과 낮은 데이터 효율에 부딪힙니다. 쉬운 문제였다면 누군가 이미 풀었을 거라며, 학습 방법 자체를 메타 학습해 구조에 담는 새 알고리즘이 필요하다고 했습니다.

> 모델은 연구소에서 훈련되고 현실 세계에 배포됩니다. 그게 근본적인 긴장입니다.
> — 제리 트워렉, Core Automation 공동창업자 (Training Data)

같은 문제를 하네스로 푸는 쪽도 있습니다. 2주 전 같은 방송에 나온 앤트로픽 플랫폼 팀은 [지난 세션을 돌아보며 메모리를 정리하는 드리밍](/post/podcast-training-data-lesse-jiang-claude-platform) 같은 기능으로 에이전트에 기억을 붙이고 있고, 6월 편에서 구글의 로건 킬패트릭은 [하네스가 12개월 안에 모델로 흡수된다](/post/review-ideal-harness-is-no-harness)고 봤습니다. 트워렉은 그런 덧붙이기로는 모자라고 모델의 구조가 달라져야 한다는 쪽입니다.

아닐은 계산 깊이로 같은 문제를 설명했습니다. 지금 훈련하는 트랜스포머는 많아야 레이어 100개 남짓이라 얕고, 추론 모델이 생각의 사슬을 길게 뽑는 것은 토큰을 하나 더할 때마다 경로를 하나 늘려 깊이를 보태는 방법이라는 겁니다. 그 대가로 토큰을 한 번에 하나씩 더 많이 만들어야 하고, 추측 디코딩 같은 가속 기법은 한 번에 한 토큰밖에 못 만드는 구조에 붙인 반창고라고 했습니다.

## 강화학습은 경험에서 배우는 한 가지 방법

소냐 황이 리처드 서튼과 데이비드 실버의 글 「경험의 시대(The Era of Experience)」를 어떻게 보느냐고 묻자, 트워렉은 강화학습이 오래된 방법이라며 백개먼과 바둑, 스타크래프트, 도타를 거쳐 지금의 프로그래밍까지 모두 모델이 스스로 경험을 쓰고 거기서 배운 사례라고 했습니다. 그는 요즘 사전학습이 사실상 다른 모델을 증류하는 일에 가깝다는 개인 의견도 냈습니다. 인터넷 토큰의 대부분이 이미 AI가 만든 것이라는 이유입니다.

그가 짚은 것은 강화학습이 경험에서 배우는 여러 방법 가운데 하나일 뿐이라는 점입니다. 지금의 강화학습은 분산을 줄이려고 같은 문제를 여러 갈래로 동시에 굴려 비교하는데, 사람은 그렇게 배우지 않는다는 겁니다. 축구를 배울 때는 공을 수없이 차며 조금씩 고치니 강화학습과 닮았지만, 수학을 배울 때는 어려운 개념을 머릿속에서 오래 붙들고 있다가 연결되는 순간을 맞는다고 했습니다.

## LSTM도 키울 수는 있었다

강화학습도 트랜스포머가 나온 뒤에야 확장됐으니 새 구조도 트랜스포머를 닮지 않겠느냐는 물음에, 트워렉은 그 시기가 겹친 것은 대부분 경제성 때문이었다고 답했습니다. LSTM도 키울 수는 있었지만 더 비싸고 덜 인상적이었을 테고, 트랜스포머는 훈련 비용보다 버는 돈이 많았기에 투자가 이어졌다는 설명입니다. 그가 든 것은 오픈AI가 2020년 1월 낸 스케일링 법칙 논문입니다. 논문의 그림 7을 보면 LSTM은 문맥 앞쪽 토큰에서는 트랜스포머만큼 잘하지만 100토큰이 안 돼 성능이 멈추고, 멀리 갈수록 트랜스포머가 앞섭니다.

트워렉은 구조 연구가 너무 오래 너무 작은 규모에서만 이뤄졌다고 봤습니다. 강화학습이 일정량의 계산을 넘어서야 흥미로운 능력을 보였듯, 다른 구조도 기본 계산량을 넘어야 쓸모를 드러낼 수 있다는 겁니다. 작게 먼저 증명하고 나서 키우라는 관행이 경쟁 구조들을 조용히 죽였을 수 있다는 주장입니다.

## 왜 큰 연구소 안에서 하지 않나

계산이 많이 드는 일이라면 큰 연구소가 맞지 않느냐는 물음에 트워렉은 시기를 들었습니다. 가장 크고 성공한 연구소들이 사상 가장 치열한 시장 싸움 한가운데 있어 다음 분기에 이기려고 트랜스포머를 키우는 데 자원을 쓰고, 1~2년 뒤 판을 바꿀지 모를 대안에는 힘을 싣기 어렵다는 겁니다. 그는 큰 연구소들과 거의 다 이야기해 봤다며, 지난주에 나온 것들만 봐도 모두 코딩 에이전트를 내놓고 있다고 했습니다.

아닐의 설명은 더 구체적이었습니다. 사전학습과 강화학습을 한 번에 최적화하자는 생각에 연구소의 뛰어난 연구자들은 동의하겠지만 우선순위 맨 위에 두지는 못한다고 했습니다. 토큰에는 붙잡아 두는 힘이 없어 사용자가 쉽게 옮겨 가니 회사들이 출시 주기로 경쟁하고, 그런 환경에서는 6개월짜리 연구도 하기 어렵다는 겁니다. Core Automation은 5월 X에 연말까지 기술 인력을 25명 이하로 두겠다고 적었습니다.

## 샴푸에서 Engram까지

아닐은 구글에서 2016년 로지스틱 회귀 최적화로 시작해 신경망 학습 알고리즘을 파고든 사람입니다. 동료가 화이트보드에 그려 온 아이디어를 대규모 학습에서 돌아가게 만든 것이 샴푸(Shampoo) 최적화기이고, 그는 제미나이 1.5 Flash에 썼으며 기존 방식보다 2배쯤 나아졌다고 기억했습니다. 최적화기와 구조는 동전의 양면이라, 강한 최적화기가 있어야 최적화하기 어려운 구조를 훈련할 수 있고 최적화 방법이 어떤 구조를 발견할지까지 정한다는 것이 그의 지론입니다.

| 공개 | 연구 | 내용 |
| --- | --- | --- |
| 2018년 2월 | 샴푸(굽타·코렌·싱어) | 텐서 단위로 기울기를 전처리하는 최적화기 |
| 2020년 2월 | 대규모 2차 최적화(아닐 외) | 샴푸를 대규모 신경망 학습에 맞춘 구현 |
| 2022년 7월 | N-Grammer(로이·아닐 외) | 잠재 n-그램으로 트랜스포머를 보강 |
| 2024년 9월 | SOAP(바이아스 외) | 샴푸를 Adam으로 안정화 |
| 2026년 1월 | 딥시크 Engram | n-그램 임베딩을 조회형 기억으로 바꿔 270억 파라미터까지 확장 |

아닐은 기초 연구가 산업에 닿는 데 보통 5~6년이 걸린다고 했습니다. 그는 2020년 동료와 트랜스포머의 파라미터 일부를 추가 기억으로 바꾸는 N-그램 기억을 연구했지만, 희소한 조회를 빠르게 처리할 하드웨어 지원이 끝내 오지 않았다고 했습니다. 그 사이 딥시크가 1월 Engram을 내놓았습니다. 아닐은 MoE가 필요 없다는 결과로 요약했지만, 딥시크 논문은 계산(MoE)과 고정 기억(Engram) 사이에 파라미터를 나누는 U자형 최적점을 찾았다고 적었습니다.

## 사람 셋과 코딩 에이전트 10만 달러

Core Automation의 6개월 로드맵을 묻자 아닐은 커널(GPU에서 연산을 실제로 돌리는 저수준 코드) 생성의 자동화를 들었습니다. 새 구조 아이디어가 나와도 GPU에서 최고 속도로 돌지 않으면 쓸모가 없으니, 아이디어에서 빠른 커널까지 걸리는 시간을 줄이는 모델이 연구소의 안쪽 순환이라는 겁니다. 그가 든 예는 GPU MODE와 함께 연 QR 분해 커널 대회입니다. GPU MODE 순위표를 보면 B200에서 최적화기용 정사각 행렬을 여러 개 묶어 분해하는 과제였고, 6월 30일 마감한 두 차례 대회에 각각 85명, 182명이 이름을 올렸습니다.

> 안목이 가장 뛰어난 사람, 세상에 세 명쯤 있을 사람이 4주 동안 코딩 에이전트에 10만 달러가량을 써야 60배 빠른 해법에 닿습니다. 지금 모델은 그 커널 근처에도 못 갑니다.
> — 로한 아닐, Core Automation 공동창업자 (Training Data)

아닐에 따르면 엔비디아의 cuSOLVER를 그대로 쓰면 기준 속도가 나오고, 사람이 탐색 루프를 돌리면 7배쯤 빨라집니다. 60배와 10만 달러는 순위표에 기준 대비 배수가 공개되지 않아 그의 말로만 남습니다. 구글 시절 경험도 들었습니다. 계산을 10배 쓰고 2배 이득을 얻는 방식은 통하지 않아 20% 안팎의 비용으로 2배를 내야 했고, 샴푸용 커널을 쓸 줄 아는 사람이 구글에 둘뿐이라 2년이 걸렸다는 겁니다.

AI가 쓴 커널에는 다른 위험도 있습니다. 7월 21일 공개된 [텐센트의 연구 AI Hyra](/post/news-tencent-hyra-recursive-research)는 기록을 새로 쓴 해법들과 함께 빈 커널로 시간을 잰 편법도 발표문에 실었습니다. Core Automation의 대회들은 제출 방법과 순위표를 공개해 두었습니다. 선형대수 커널 연작의 마지막인 촐레스키 분해 대회는 7월 30일 0시(UTC)에 마감됐고, 틸드 리서치와 함께 7월 17일 연 최적화기 대회 One Layer Deeper는 H100 한 대와 5억 파라미터 제한 안에서 8월 31일(태평양 시각)까지 제출을 받습니다.

## 가장 자동화된 연구소

Core Automation은 4월 21일(미국 시각) 문을 열며 세계에서 가장 자동화된 AI 연구소를 만들겠다고 밝혔습니다. 회사 소개문에는 더 큰 모델과 더 많은 데이터로 지금의 방식을 키워서는 다음 도약이 오지 않는다고 보고, 대규모 사전학습과 강화학습을 넘어서는 학습 알고리즘과 트랜스포머보다 잘 확장되는 구조를 찾는다고 적혀 있습니다.

트워렉이 말하는 자동화의 목표는 사람을 빼는 데 있지 않습니다. 걸으면 조금 가고, 자전거로는 더 가고, 차로는 훨씬 멀리 가듯 연구자 한 사람이 가장 많은 일을 하게 만드는 것이 목표라는 겁니다. 하루에 실험 하나만 돌려도 예전보다 빠른 속도이고, 언젠가 하루 10개, 200개까지 갈 수 있다고 했습니다. 오픈AI 안에서 여러 형태의 AI 과학자를 연구했던 그는, 그 구상을 실현하기에 새 회사가 가장 좋은 길이라고 판단했다고 합니다.

AGI를 어떻게 알아보겠느냐는 물음에 그는 경제적 가치가 있는 일에서 모든 사람을 앞서는 시스템이라는 오픈AI의 정의를 꺼낸 뒤, 앞서 던진 물음을 다시 붙였습니다. 오픈AI가 새 모델 훈련을 멈춰도 자동화 수준이 그대로 유지되겠느냐는 물음입니다.

> 제게 AGI는 사람이 전혀 끼지 않아도 스스로를 개선할 수 있는 모델입니다.
> — 제리 트워렉, Core Automation 공동창업자 (Training Data)

지금은 사람과 LLM의 조합이 아주 잘 통하지만 사람 없는 LLM은 전혀 그렇지 않고, 2024년과 2025년 초에 본 것으로는 지금의 길로는 거기에 닿지 않는다고 했습니다. 방송이 나온 주에는 프런티어 AI 회사 직원들이 「Pacing the Frontier」 성명을 냈습니다. 주요 AI 회사들이 AI 연구의 자동화에 가까워졌다고 보고, 미국 정부에 자동화된 AI 개발의 속도를 의도적으로 조절할 기술과 제도 수단을 만드는 국제 노력을 지원해 달라는 내용이며, 7월 29일 기준으로 1,178명이 서명했습니다.

## 찾았다는 신호는 무엇인가

트워렉은 성공한 연구에는 늘 다른 그래프와 조금 다르게 휘는 곡선 하나가 있었다며, 인생 최고의 그래프들은 실제로 그리기 전에 꿈에서 먼저 봤다고 농담했습니다. 그들이 찾는 것은 테스트 시점에 배우는 시스템이고, 판단 기준은 그 시스템이 Core Automation 연구자들의 일을 날마다 더 잘하게 되느냐입니다. 아닐은 팀이 다 같이 휴가를 떠나 연구소가 더 나은 결과를 내놓는지 보겠다고 했고, 트워렉은 휴가를 두 배, 세 배로 늘려 영원한 휴가에 이르겠다고 받았습니다.

아직 공개된 구조나 실험 결과는 없습니다. 60배 커널과 10만 달러, 샴푸를 제미나이 1.5 Flash에 썼다는 이야기, 코덱스의 20분은 모두 두 사람의 말이고, 따로 확인할 자료는 찾지 못했습니다. Core Automation이 대체 구조의 첫 그래프를 내놓으면 이어서 전하겠습니다.

읽어 주셔서 고맙습니다.

초이 드림