# 지난 시도를 복기하는 AI, 구글이 모델은 그대로 두고 호출을 42% 줄였습니다
_구글·구글 딥마인드 등 연구진이 끝난 탐색 기록 위에서 탐색 전략을 고치는 Dream-RSI를 내놨습니다. 같은 Gemini 3.1 Pro에서 호출은 550회에서 317회로 줄었고, 162배는 서로 다른 모델을 비교한 숫자입니다._
- 매체: 초이의 뉴스레터 · 논문
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-09-17T11:00
- 링크: https://choi-newsletter.com/post/paper-google-dream-rsi-strategy-evolution
- 답하는 질문: 구글 Dream-RSI는 무엇을 개선하나
- 직답: Dream-RSI는 모델을 그대로 두고 탐색 전략만 지난 기록으로 고쳐, Gemini 3.1 Pro의 에이전트 호출을 550회에서 317회로 42% 줄였습니다.
- 논문: Tong Zheng, Xidong Wu, Zheng Zhang 외 (Google, Google DeepMind, University of Maryland, University of Virginia) · arXiv 2609.14858 · https://arxiv.org/abs/2609.14858
- 출처: arXiv 2609.14858, Dream-RSI: Recursive Self-Improvement through Evolving Worlds (2026-09-14) (https://arxiv.org/abs/2609.14858), Dream-RSI 프로젝트 페이지 (https://dream-rsi.com/), Dream-RSI 논문 PDF (https://www.dream-rsi.com/assets/dream-rsi.pdf), GitHub, zhengkid/Dream-RSI (https://github.com/zhengkid/Dream-RSI), Hugging Face Papers, Dream-RSI (https://huggingface.co/papers/2609.14858), SimpleTES 논문 (arXiv 2604.19341) (https://arxiv.org/abs/2604.19341), Dreamer, Dream to Control (arXiv 1912.01603) (https://arxiv.org/abs/1912.01603), Hacker News 토론 (2026-09-16) (https://news.ycombinator.com/item?id=49726955), Dr Singularity X (2026-09-16) (https://x.com/Dr_Singularity/status/2100204780010222076)
> 9월 14일 공개된 Dream-RSI는 모델 가중치 대신 어느 후보를 이어 갈지 정하는 탐색 정책 코드만 고칩니다. Gemini 3.1 Pro로 Lasso 알고리즘을 찾을 때 호출은 42% 줄었지만, 데이터셋 6개 가운데 5개에서는 고정 탐색보다 느렸습니다.

구글과 구글 딥마인드, 미국 메릴랜드대·버지니아대 연구진 17명이 9월 14일 arXiv에 Dream-RSI 논문을 올렸습니다. AI 모델과 코딩 에이전트는 그대로 두고, 여러 시도 가운데 무엇을 더 이어 갈지와 몇 개를 동시에 돌릴지, 언제 멈출지를 정하는 탐색 전략만 지난 기록으로 고쳐 나가는 방법입니다. 같은 Gemini 3.1 Pro로 통계 알고리즘을 찾게 했을 때 에이전트 호출이 550회에서 317회로 42% 줄었습니다.

![탐색 정책과 코딩 에이전트가 온라인 탐색으로 탐색 나무를 쌓아 기록에 저장하고, 그 나무로 재생 시뮬레이터를 만든 뒤, 시뮬레이터 묶음 안에서 정책을 제안하고 평가하고 피드백을 받아 탐색 정책을 갱신하는 세 단계 순환 구조도](https://www.dream-rsi.com/assets/fig1-overview.png)

논문 제목은 「Dream-RSI: 진화하는 세계를 통한 재귀적 자기개선」입니다. 재귀적 자기개선(RSI)은 한 번 개선한 결과가 다음 개선에 다시 쓰이는 구조를 가리키는데, 이 논문에서 개선되는 대상은 코딩 에이전트가 문제를 푸는 동안 어느 후보를 더 파고들지 정하는 짧은 규칙 코드, 곧 탐색 정책이고 모델 가중치에는 손대지 않습니다. 교신저자는 구글의 우시둥(Xidong Wu)과 장정(Zheng Zhang)이고, 코드는 GitHub에, 논문과 설명은 프로젝트 페이지에 공개했습니다.

## 바둑 기사의 복기처럼 지난 탐색을 다시 놓습니다

AI에게 더 빠른 프로그램을 만들게 하면 코드를 쓰고, 실행해 보고, 결과를 보며 고치는 일이 수백 번 되풀이됩니다. 그때마다 점수가 오른 후보를 더 다듬을지, 전혀 다른 방향을 새로 열지, 몇 갈래를 동시에 돌릴지, 언제 손을 뗄지를 정하는 결정이 따라붙습니다. 이 결정을 내리는 규칙이 탐색 정책이고, 지금까지는 대부분 사람이 짜 두고 탐색 내내 그대로 썼습니다.

규칙을 고치기 어려운 이유는 채점이 늦게 나오기 때문입니다. 후보 하나는 실행하면 바로 점수가 나오지만, 탐색 정책이 좋은지는 그 정책으로 탐색 전체를 끝까지 돌려 봐야 압니다. 후보 정책 하나를 시험할 때마다 탐색을 처음부터 끝까지 한 번씩 돌려야 하고, 연구진에 따르면 새로 짠 정책 대부분은 기존 것보다 나쁩니다.

연구진이 찾은 답은 바둑 기사의 복기와 닮았습니다. 대국이 끝난 뒤 기보를 다시 놓으며 이 수 대신 저 수를 뒀다면 어땠을지 따져 보듯, 이미 끝낸 탐색 기록 위에서 다른 전략을 시험합니다. 이 기록을 연구진은 탐색 나무(discovery tree)라고 부릅니다. 어느 코드에서 출발해 무엇을 고쳤고, 점수가 얼마였고, 어디서 실패했는지가 부모와 자식 가지로 이어져 저장됩니다.

## 결과가 이미 적혀 있으니 다시 실행하지 않습니다

새 탐색 정책은 같은 나무를 다른 순서로 걷습니다. 다른 가지를 먼저 열고, 여러 가지를 한꺼번에 진행하고, 어느 가지에서 일찍 멈춰 봅니다. 가지마다 실행 결과가 이미 기록돼 있어서 코딩 에이전트와 평가기를 다시 부를 필요가 없고, 정책 하나를 채점하는 데 드는 실행 비용은 0입니다. 연구진은 이 과정을 꿈꾸기(dreaming)라고 부릅니다.

![선택된 정책이 온라인 탐색으로 만든 탐색 나무 위를 대안 정책 1과 대안 정책 2가 서로 다른 가지를 따라 재생하고, 품질은 높이고 비용과 지연은 낮추는 기준으로 각각 점수를 받는 도식](https://www.dream-rsi.com/assets/fig2-simulator.png)

논문은 이 방식을 2019년 대니자르 하프너(Danijar Hafner) 등이 내놓은 Dreamer 계열에 빗댑니다. Dreamer는 환경이 어떻게 움직이는지를 모델로 학습한 뒤 그 모델 안에서 상상으로 연습합니다. Dream-RSI의 시뮬레이터는 따로 학습한 모델 대신 실제로 돌려 본 기록 그 자체라서, 기록이 닿은 범위 안에서는 추측이 끼지 않습니다. 대신 한 번도 가 보지 않은 가지의 결과는 알 수 없습니다.

한 회차는 이렇게 돕니다. 현재 정책으로 실제 탐색을 한 번 돌려 나무를 하나 더 쌓고, 정책 개발을 맡은 별도의 LLM 에이전트가 정책 코드를 여러 번 고쳐 씁니다. 고친 판마다 지금까지 쌓인 모든 나무 위에서 재생해 점수를 매기는데, 점수는 찾아낸 최고 품질에서 시도 횟수만큼 벌점을 빼고, 한 번에 여러 시도를 묶어 돌린 만큼 가점을 더합니다. 지금 쓰는 정책도 후보에 들어 있어서, 뽑힌 정책은 기록 위의 점수로는 이전보다 나빠지지 않습니다. 모델과 평가기, 실행 환경은 끝까지 고정이고 바뀌는 것은 정책 코드뿐입니다.

## 550회와 317회를 가른 조건

비교 상대는 연구진이 같은 조건으로 돌린 고정 탐색입니다. 두 방식 모두 작업 공간 여러 개를 나란히 열고 각자 후보를 다듬는 같은 규칙으로 출발하고, 고정 탐색은 이 규칙을 끝까지 유지합니다. Gemini 3.1 Pro로는 회차마다 작업 공간 10개에서 최대 11단계씩, 모두 110번 에이전트를 부릅니다. 이를 5회차 돌린 값이 550회입니다. [8월 13일 나온 Gemini 3.7 Flash](/post/news-gemini-37-flash-launch)로는 작업 공간 32개에 최대 20단계씩, 회차당 640회로 5회차 3,200회를 썼습니다.

과제는 Lasso 정규화 경로를 계산하는 프로그램을 더 빠르게 만드는 일입니다. Lasso는 변수가 아주 많은 데이터에서 쓸모 있는 변수만 골라내는 통계 기법으로 유전체 분석과 금융에서 널리 쓰입니다. 탐색에는 앞선 연구 SimpleTES와 같은 합성 문제 17개를 쓰고, 찾아낸 프로그램은 탐색에 쓰지 않은 실제 데이터셋 6개에서 실행 시간을 쟀습니다.

| 방식 | 모델 | 호출 | Gisette | RCV1 | DNA | Leukemia | Colon | Duke Breast | 평균 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| sklearn | - | - | 11,275.2 | 252,881.7 | 93.8 | 227.2 | 229.8 | 374.0 | 44,180.3 |
| SimpleTES | GPT-OSS-120B | 51,200 | 3,141.9 | 19,625.6 | 15.9 | 15.5 | 11.6 | 18.1 | 3,804.8 |
| 고정 탐색 | Gemini 3.1 Pro | 550 | 1,861.8 | 19,550.1 | 41.5 | 26.1 | 14.5 | 28.4 | 3,587.1 |
| Dream-RSI | Gemini 3.1 Pro | 317 | 2,841.0 | 14,616.0 | 49.9 | 30.2 | 16.4 | 32.5 | 2,931.0 |
| 고정 탐색 | Gemini 3.7 Flash | 3,200 | 1,133.1 | 13,873.0 | 29.8 | 24.1 | 15.7 | 24.4 | 2,516.7 |
| Dream-RSI | Gemini 3.7 Flash | 1,879 | 1,091.9 | 12,923.4 | 31.4 | 21.0 | 12.2 | 23.6 | 2,350.6 |

단위는 밀리초(ms)이고 낮을수록 빠릅니다. 호출은 누적 에이전트 호출 수입니다(출처: Dream-RSI 논문 그림 3).

Gemini 3.1 Pro에서 Dream-RSI는 호출을 550회에서 317회로 줄이면서 6개 데이터셋 평균 실행 시간을 3,587.1ms에서 2,931.0ms로 낮췄습니다. Gemini 3.7 Flash에서도 3,200회를 1,879회로 줄이며 평균을 2,516.7ms에서 2,350.6ms로 내렸습니다. 두 모델 모두 호출을 1.7배가량 덜 쓰고 더 빠른 프로그램을 찾았고, 찾아낸 프로그램은 표준 라이브러리 sklearn과 glmnet보다 6개 데이터셋 모두에서 빨랐습니다.

## 평균을 끌어내린 데이터셋은 하나였습니다

표를 데이터셋별로 보면 두 모델의 결과가 갈립니다. Gemini 3.1 Pro 판 Dream-RSI는 6개 가운데 Gisette, DNA, Leukemia, Colon, Duke Breast 다섯 곳에서 고정 탐색보다 느렸습니다. 평균이 내려간 것은 실행 시간이 가장 긴 RCV1에서 19,550.1ms를 14,616.0ms로 줄였기 때문입니다. 논문도 Gemini 3.1 Pro가 찾은 프로그램은 RCV1 같은 큰 행렬에 특히 맞춰졌고, Gemini 3.7 Flash는 크기가 다른 문제에서 고르게 좋은 범용 프로그램을 찾았다고 적었습니다. Flash 판은 DNA 한 곳을 빼고 다섯 곳에서 고정 탐색보다 빨랐습니다.

![Lasso 탐색에서 누적 에이전트 호출 수에 따른 평균 실행 시간을 회차별로 찍은 두 그래프. 왼쪽 Gemini 3.1 Pro에서는 Dream-RSI가 4회차까지 약 5,300~5,700ms에 머물다 5회차에 약 2,930ms로 떨어지고, 오른쪽 Gemini 3.7 Flash에서는 2회차부터 고정 탐색보다 낮은 약 2,300~2,400ms를 유지합니다.](https://www.dream-rsi.com/assets/fig3-lasso-dynamics.png)

회차별 그래프에서도 차이가 보입니다. Gemini 3.1 Pro 판은 1회차부터 4회차까지 평균 실행 시간이 약 5,300~5,700ms로 고정 탐색과 비슷하거나 더 느렸고, 5회차에 약 2,930ms로 한 번에 떨어졌습니다. 그사이 2회차와 3회차에는 고정 탐색의 회차당 110회보다 훨씬 적은 호출만 쓰고 멈췄습니다. Flash 판은 2회차부터 꾸준히 고정 탐색보다 낮은 값을 유지했습니다.

## 162배는 다른 모델끼리 비교한 숫자입니다

논문이 앞세운 숫자 가운데 가장 큰 것은 162배입니다. SimpleTES가 같은 Lasso 문제에 51,200번 생성한 것과 Dream-RSI의 317회를 나눈 값인데, SimpleTES는 오픈웨이트 모델 GPT-OSS-120B를, Dream-RSI는 Gemini 3.1 Pro를 썼습니다. 탐색 전략의 차이와 기반 모델의 차이가 한 숫자에 섞여 있어서, 같은 모델을 두고 잰 차이는 550회 대 317회 쪽입니다.

SimpleTES는 4월 arXiv에 올라온 과학 탐색 시스템으로, 오픈웨이트 GPT-OSS 모델 하나로 28개 문제에서 최고 기록을 냈고 Lasso 경로 계산은 기존보다 2.17배 빠르게 만들었다고 보고했습니다. Dream-RSI 연구진이 이 시스템을 직접 다시 돌려 보니 평균 8,318.4ms가 나와, SimpleTES가 보고한 3,804.8ms의 두 배를 넘었습니다.

수학 문제 세 개에서도 비슷한 구도가 나옵니다. 정수 집합으로 만든 합의 집합을 차의 집합보다 크게 만드는 Sum-Difference 문제에서 Dream-RSI는 1.145427로 SimpleTES의 1.143975를 넘었고, 정사각형 안에 원을 채우는 Circle Packing은 2.635983으로 최고 기록과 같았습니다. 자기상관 부등식에서는 1.456375로 SimpleTES의 1.453675에 못 미쳤습니다(낮을수록 좋음). 연구진은 SimpleTES가 51,200번 생성한 데 비해 자신들은 1,000번 미만을 썼다며 예산을 50배 넘게 아꼈다고 적었습니다.

## GPU 커널 네 과제

GPU가 연산을 수행하는 작은 프로그램인 커널을 빠르게 고치는 실험도 있습니다. 벤치마크 KernelBench의 네 과제를 Gemini 3.1 Pro에 맡겼고, 성능은 정답을 맞힌다는 조건에서 실행 시간의 역수(1/ms)로 쟀습니다.

| 과제 | 잰 방식 | 결과 |
| --- | --- | --- |
| VGG16 | 비슷한 성능에 이르기까지 만든 후보 수 | 2.43배 적음 |
| LayerNorm | 비슷한 성능에 이르기까지 만든 후보 수 | 1.79배 적음 |
| ConvDiv | 비슷한 예산에서 찾은 커널의 성능 | 2.09배 높음 |
| ConvMax | 비슷한 예산에서 찾은 커널의 성능 | 1.44배 높음 |

![VGG16, LayerNorm, ConvDiv, ConvMax 네 과제에서 생성 횟수에 따른 성능을 Dream-RSI와 고정 탐색으로 비교한 계단형 그래프 네 개](https://www.dream-rsi.com/assets/fig4-kernels.png)

그래프를 보면 배수마다 조건이 다릅니다. VGG16과 LayerNorm에서 Dream-RSI는 고정 탐색보다 훨씬 적은 후보로 비슷한 성능에 닿았지만, 고정 탐색이 1,000번 가까이 돌린 끝의 최종 성능은 두 과제 모두 Dream-RSI보다 약간 높습니다. ConvDiv에서 Dream-RSI는 약 780번 만에 1.898에 닿았고, 고정 탐색은 1,000번 가까이 돌린 끝에 약 1.28까지 올라왔습니다. ConvMax에서 Dream-RSI는 약 330번부터 670번 가까이까지 고정 탐색(약 0.30)보다 낮은 0.28 안팎에 머물다가 마지막 기록에서 0.43으로 뛰었습니다.

## 시도를 줄였다가 다시 늘린 전략

ConvDiv에서는 학습된 정책이 회차마다 어떻게 행동했는지도 공개했습니다. 9번의 회차 동안 회차 최고 성능은 0.427에서 1.898로 올랐고, 회차마다 평가한 시도 수는 110, 110, 87, 80, 50, 92, 80, 91, 86개로 움직였습니다.

![ConvDiv의 회차 E0부터 E8까지 회차 최고 성능이 0.427에서 1.898로 오르는 선 그래프와, 회차별 평가한 시도 수가 110에서 50까지 줄었다가 92, 80, 91, 86으로 다시 늘어나는 막대그래프](https://www.dream-rsi.com/assets/fig6-evolution.png)

처음 다섯 회차 동안 성능이 0.427에서 1.488로 오르는 사이 정책은 시도를 110개에서 50개로 줄였습니다. 성능이 1.488에서 1.499로 거의 멈춘 여섯 번째 회차에는 시도를 92개로 다시 늘렸고, 일곱 번째 회차에 성능이 1.770으로 뛰었습니다. 재생 점수에 시도 횟수만큼 벌점이 붙어 있으니, 잘 풀리는 구간에서는 아끼고 막히는 구간에서만 더 쓰는 정책이 높은 점수를 받습니다. 연구진은 이 움직임을 진행 상황에 맞춰 탐색 노력을 조절하는 패턴으로 해석했습니다.

## 교훈을 문장으로 넘기자 성적이 떨어졌습니다

연구진은 기록을 다른 방식으로도 써 봤습니다. 지난 탐색에서 얻은 교훈을 문장으로 요약해 다음 회차의 프롬프트에 넣은 겁니다. ConvDiv에서 같은 예산을 썼을 때 이 안내를 넣은 쪽이 넣지 않은 쪽보다 최종 성능이 낮았고, 고정 탐색과 Dream-RSI 모두 같은 결과가 나왔습니다.

연구진은 여러 갈래를 동시에 탐색하는 긴 작업에서 어디를 찾아보라는 강한 안내가 탐색 범위를 지나치게 좁혀 다양한 시도를 막는다고 설명했습니다. 같은 기록도 요약 문장으로 넘기면 역효과를 냈고, 정책을 채점하는 재생 환경으로 쓰면 효과를 냈습니다. 앤트로픽이 [시스템 프롬프트의 80%를 덜어 내고도 잃은 것을 찾지 못했던 실험](/post/review-context-engineering-new-rules)과 같은 방향의 관찰이지만, 이번 결과는 ConvDiv 한 과제에서 나왔습니다.

## 「구글이 RSI를 해냈다」는 글과 반론

논문이 arXiv에 올라가고 이틀 뒤인 9월 16일, X에는 구글이 AI 탐색을 위한 재귀적 자기개선 루프를 보여 줬다는 글이 잇따라 올라왔습니다. AI 에이전트가 지난 탐색 시도를 재생하며 문제를 푸는 방식을 스스로 개선한다는 요지였습니다.

같은 날 Hacker News의 논문 글에는 이걸 RSI라고 부르면 오해를 부른다는 댓글과, 계산 자원을 유망한 쪽으로 다시 나눌 뿐이라는 댓글이 달렸습니다. 교신저자와 이름이 같은 xidong_wu 계정은 에이전트로 완벽한 에이전트를 설계하려는 연구라며, 이 논문이 다음 회차에 쓸 제어기, 곧 정책을 최적화한다고 답했습니다. 논문도 모델과 평가기, 실행 환경을 고정하고 탐색 정책 코드만 고친다고 적었습니다.

같은 9월 16일 오픈AI의 노암 브라운은 인터뷰에서 [재귀적 자기개선을 회사의 1순위 과제로 꼽았습니다](/post/interview-noam-brown-rsi-priority). 9월 10일 arXiv에 올라온 [자기개선 연구 491편의 지도](/post/paper-last-ai-built-by-humans-rsi-roadmap)는 누가 개선 목표와 성공 기준을 정하느냐로 단계를 나눴습니다. 그 기준으로 보면 Dream-RSI에서 정책 코드는 AI가 고치지만, 재생 점수를 매기는 식과 벌점 계수, 평가기는 사람이 정해 둡니다.

## 논문에 나오지 않는 숫자

317회라는 호출 수에는 코딩 에이전트의 호출만 들어 있습니다. 논문은 탐색 비용을 발견 에이전트의 누적 호출 수로 정의했고, 정책 코드를 고쳐 쓰는 정책 개발 에이전트가 회차마다 몇 번 불렸는지, 어떤 모델이었는지는 적지 않았습니다. 재생 자체는 실행 비용이 0이어도 정책을 고쳐 쓰는 LLM 추론에는 돈이 듭니다.

논문에는 반복 실행 횟수나 오차 범위도 나오지 않습니다. 그래서 Gemini 3.1 Pro의 Lasso 5회차나 ConvMax의 마지막 기록처럼 한 번의 도약이 결과를 정한 경우에는 운이 얼마나 작용했는지 알 수 없습니다. 커널 실행 시간을 잰 하드웨어와 정책 수정 횟수, 벌점 계수도 논문에 나와 있지 않습니다.

## 따라 해 보려면 기록부터 필요합니다

방법 자체는 공개돼 있습니다. GitHub 저장소는 9월 13일 열렸고, 논문 부록에는 코딩 에이전트에게 준 탐색 프롬프트와 정책 개발 에이전트에게 준 프롬프트가 전문으로 실려 있습니다. 실험은 구글의 Gemini CLI로 돌렸지만, 정책이 하는 일은 어느 가지를 이어 갈지 고르는 것뿐이라 다른 코딩 에이전트에도 붙일 수 있는 구조입니다.

먼저 시도마다 어느 시도에서 출발했는지, 작업 공간이 어땠는지, 점수가 얼마였는지를 가지 구조로 남겨 둬야 재생할 나무가 생깁니다. 재생으로 정책을 채점하려면 실행 시간이나 정답 여부처럼 기계가 곧바로 매기는 점수도 필요합니다. 커널 최적화, 추론 서빙 튜닝, 알고리즘 구현처럼 채점을 자동으로 할 수 있는 작업이 여기에 맞고, 채점할 수단이 없는 연구에서 같은 방식이 통한다는 증거는 이 논문에 없습니다.

모델을 그대로 두고 감싸는 코드를 고쳐 성과를 올린 사례는 올여름에도 있었습니다. Prime Intellect는 [실행 환경만 바꿔 같은 모델의 ARC-AGI-3 점수를 30%에서 95.5%로 올렸고](/post/review-prime-agent-harness-arc-agi3), [하네스만 바꿔 작업 비용이 최대 2.08배 갈린 측정](/post/review-agent-harness-explainer)도 있었습니다. Dream-RSI에서는 그 코드를 에이전트가 기록을 보며 고칩니다.

논문은 v1이 나온 상태이고, 반복 실행 결과와 정책 개발에 든 비용은 아직 공개되지 않았습니다. 후속 판이나 다른 팀의 재현에서 550회 대 317회가 다시 나오는지 확인되면 전하겠습니다.

읽어 주셔서 고맙습니다.

초이 드림