# 사람이 놓은 블록은 그대로 두는 마인크래프트 AI, 사카나가 공개했습니다
_블록을 단어처럼 다루는 확산 모델로 32블록 정육면체 청크를 만들고, 창을 옮겨 가며 큰 월드로 이어 붙입니다. 두 확산 방식의 점수는 같았고, 사람이 놓은 블록을 끝까지 지키는 성질은 가림 방식에서만 나왔습니다._
- 매체: 초이의 뉴스레터 · 논문
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-07-30
- 링크: https://choi-newsletter.com/post/paper-sakana-dream-cubed
- 답하는 질문: Dream-Cubed는 어떻게 마인크래프트 세계를 만드나
- 직답: 블록을 토큰처럼 다루는 2억 8,000만 파라미터 확산 모델이 가려진 블록을 맞혀 32블록 청크를 채우고, 창을 옮겨 가며 이어 붙입니다.
- 논문: Tim Merino, Sam Earle, Ryunosuke Iwai, Julian Togelius, Edoardo Cetin · arXiv · arXiv:2604.22847 · https://arxiv.org/abs/2604.22847
- 출처: Merino 외, Dream-Cubed: Controllable Generative Modeling in Minecraft by Training on Billions of Cubes (arXiv 2604.22847, 2026-04-22) (https://arxiv.org/abs/2604.22847), Sakana AI 블로그, Dream-Cubed (https://pub.sakana.ai/dream-cubed/), Sakana AI X 발표 (2026-07-29) (https://x.com/SakanaAILabs/status/2082473721361768867), 데이비드 하 X 소개 (2026-07-29) (https://x.com/hardmaru/status/2082474329292632464), 코드, GitHub SakanaAI/DreamCubed (https://github.com/SakanaAI/DreamCubed), 데이터셋·모델, Hugging Face SakanaAI dream-cubed 컬렉션 (https://huggingface.co/collections/SakanaAI/dream-cubed)
> 사카나 AI와 뉴욕대가 7월 29일 마인크래프트 생성 모델 Dream-Cubed와 청크 200만 개 넘는 데이터셋을 공개했습니다. 두 확산 방식의 평균 FID는 59.26과 59.29로 같았고, 5×5 월드 하나에 H100으로 한 시간 넘게 걸립니다.

사카나 AI가 뉴욕대 연구진과 함께 마인크래프트 세계를 블록 단위로 만드는 생성 모델 Dream-Cubed를 7월 29일 공개했습니다. 블록 하나를 언어 모델의 단어처럼 다뤄 가로·세로·높이 32블록짜리 덩어리를 한 번에 만들고, 사람이 미리 놓아 둔 블록은 건드리지 않은 채 그 주변만 채웁니다. 마인크래프트 청크 200만 개 넘는 데이터셋과 수집 코드, 학습한 모델 가중치를 모두 풀었습니다.

사카나는 발표 게시물에서 생성 AI가 유독 언어에서 크게 앞선 이유를 단어와 토큰이라는 조립 단위에서 찾았습니다. 마인크래프트를 비롯한 많은 게임도 큐브와 타일 같은 조립 단위로 세계를 짓기 때문에, 큐브를 토큰으로 쓰면 큰 트랜스포머가 같은 일을 할 수 있다는 설명입니다. 기여는 두 가지로 적었습니다. 연구용 대규모 마인크래프트 데이터셋을 공개했고, 그 데이터로 바로 고치고 플레이할 수 있는 지형과 구조물을 블록 해상도로 만드는 모델들을 학습시켰습니다.

## 블록 하나가 겉모습과 동작을 함께 정합니다

마인크래프트 세계는 3차원 격자이고, 격자를 채운 블록 하나하나가 모래·돌·물처럼 뜻을 가진 단위입니다. 논문은 블록 하나가 겉모습과 게임 안 동작을 함께 정한다는 점을 출발점으로 삼았습니다. 모델이 블록 종류만 맞게 고르면 결과물은 렌더링이나 후처리 없이 그대로 게임에 올라갑니다.

기존 3D 생성 연구는 대부분 점구름이나 학습된 잠재 공간 같은 연속 표현을 다뤘습니다. 이런 방법이 만드는 복셀은 모양은 마인크래프트 블록과 닮아도 모래인지 돌인지 같은 범주 이름표가 없습니다. 이미지를 이산 확산으로 만들 때도 먼저 학습된 양자화 모델로 그림을 토큰으로 바꾸는 단계가 필요한데, 마인크래프트 블록은 처음부터 이산값이라 그 단계를 통째로 건너뜁니다.

저자는 뉴욕대의 팀 메리노, 샘 얼, 줄리언 토겔리우스와 사카나 AI의 이와이 류노스케, 에도아르도 체틴 다섯 명입니다. 메리노와 얼의 사카나 인턴십 과제로 시작했고, 학습에는 뉴욕대 고성능 컴퓨팅 자원도 썼습니다. 논문은 4월 22일 arXiv에 먼저 올라왔고, 사카나는 7월 29일 블로그 글과 함께 이 연구를 알렸습니다.

## 청크 200만 개를 네 갈래로 모았습니다

데이터는 2017년에 나온 마인크래프트 1.12.2판에서 모았습니다. 기존 도구 Evocraft와 호환되는 판이라서입니다. 컴퓨터 여러 대에 게임 서버를 하나씩 띄우고, 청크 1만 개마다 월드 시드를 바꿔 가며 가로·세로·높이 32블록짜리 청크를 떠냈습니다. 청크 하나에 블록 3만 2,768개가 들어갑니다.

| 갈래 | 청크 수 | 수집 방법 |
| --- | --- | --- |
| 자연 바이옴 13종 | 152만 1,781개 | 스폰 지점에서 나선형으로 돌며 지표면 수집, 게임의 바이옴 76종을 13종으로 묶음 |
| 동굴 | 14만 6,000개 | 지하로 내려가며 공기가 10% 넘는 덩어리 수집 |
| 마을 | 17만 8,271개 | 월드 시드로 마을 좌표를 미리 계산해 그 주변만 촘촘히 수집 |
| 사람이 만든 맵 6종 | 35만 8,762개 | 전문 제작자의 허락을 받아 도시 맵에서 추출 |

마을을 따로 모은 이유는 분포에 있습니다. 게임 세계의 자연스러운 비율대로 모으면 마을은 전체의 1%가 안 되고 바다가 35%를 차지합니다. 연구진은 파이썬 도구 Pyubiomes로 스폰 지점 1만 블록 안의 마을 좌표를 계산한 뒤, 마을마다 가로 256, 높이 64, 세로 256블록을 떠서 4블록 간격으로 청크를 잘랐습니다.

**마을 청크를 남기는 세 가지 조건**

1. **공기 15% 초과** 대부분 땅속에 묻힌 덩어리는 버립니다.

1. **마을 표시 블록 60개 이상** 문과 계단 같은 마을 표시 블록이 60개 미만이면 마을 주변 자연 지형으로 보고 버립니다.

1. **경계에 닿지 않을 것** 마을 표시 블록이 덩어리 가장자리에 닿으면 버려, 잘린 건물 대신 온전한 구조물을 배우게 합니다.

블록 종류는 자연 지형만 쓰면 117가지이고, 사람이 만든 맵을 더하면 177가지입니다. 제작자들이 장식용 블록을 훨씬 많이 써서 그대로 담으면 1,181가지까지 늘어나는데, 연구진은 단추나 레일 같은 희귀 장식을 공기로 바꾸고 색만 다른 양털 같은 변형을 하나로 묶었습니다. 어떤 기준으로 묶을지는 사람이 정했고, 실제 대응표는 Claude Opus 4.6이 블록 이름 목록을 읽고 자동으로 만들었습니다.

수치를 볼 때 조심할 대목이 하나 있습니다. 논문 본문이 기본 데이터셋 크기로 적은 166만 7,781개는 자연 바이옴과 동굴을 더한 값이고, 바이옴별 표를 마을까지 모두 더하면 184만 6,052개입니다. 논문과 사카나 발표는 사람이 만든 맵까지 합쳐 청크 200만 개 넘게, 블록 수백억 개라고 소개했습니다.

## 가림을 벗기는 모델과 노이즈를 걷는 모델

모델은 파라미터 약 2억 8,000만 개짜리 3차원 확산 트랜스포머로, 같은 구조를 두 방식으로 학습시켰습니다. 공간을 압축하는 오토인코더를 쓰지 않고 블록 해상도 그대로 넣었는데, 효율은 잃어도 블록 하나 단위로 생성을 조절하려면 이 선택이 결정적이었다고 저자들은 적었습니다.

첫 번째는 가림 방식(MD4)입니다. 블록 종류에 「가림」이라는 특수 값을 하나 더하고, 학습 때는 진짜 블록을 조금씩 가림으로 바꾼 청크를 보여 주며 원래 블록을 맞히게 합니다. 생성할 때는 모두 가려진 청크에서 출발해 가림을 하나씩 벗겨 냅니다. 두 번째는 노이즈 방식(DDPM)입니다. 블록 이름을 오픈AI의 텍스트 임베딩 모델에 넣어 16차원 벡터로 바꾸고, 그 벡터에 노이즈를 더했다가 걷어 내는 법을 배운 뒤 마지막에 가장 가까운 블록으로 되돌립니다.

![블록을 가림 토큰으로 바꿔 가는 순방향 과정, 가림을 벗기며 블록을 채우는 역방향 과정, 사용자가 그린 블록을 고정한 채 나머지를 채우는 블록 조건 생성을 세 줄로 그린 도식](https://pub.sakana.ai/dream-cubed/assets/figures/masked_fig.png)

두 방식 모두 청크를 작은 정육면체 조각으로 나눠 트랜스포머에 넣습니다. 조각 한 변을 2블록으로 하면 조각 4,096개, 4블록이면 512개가 됩니다. 가림 방식은 2와 4 모두에서 쓸 만한 청크를 만들었지만, 노이즈 방식은 4에서 무너져 2로만 학습시켰습니다.

사카나가 7월 21일 공개한 [확산 언어 모델 협업법](/post/paper-sakana-unmaskfork)도 전체를 가린 상태에서 가림을 벗겨 가며 문장을 채우는 같은 계열의 모델을 다뤘습니다. 이번에는 그 방식을 글자 대신 블록에 썼습니다.

## 평균 FID는 59.26과 59.29였습니다

3차원 블록 세계에는 아직 합의된 평가 지표가 없습니다. 연구진은 생성한 청크를 그림으로 렌더링한 뒤 이미지 생성 분야의 FID를 빌려 썼습니다. FID는 생성물 모음과 실제 데이터 모음이 이미지 인식 모델 눈에 얼마나 다르게 보이는지를 재는 값으로, 낮을수록 실제와 닮았습니다. 바이옴마다 100개씩 만들어 쟀습니다.

같은 데이터, 같은 조각 크기(2), 같은 트랜스포머로 학습한 두 방식의 평균 FID는 59.26과 59.29였습니다. 바이옴 15종 가운데 가림 방식이 9곳, 노이즈 방식이 6곳에서 앞서 어느 쪽도 우세하지 않았습니다. 아래 그림은 바이옴마다 실제 데이터끼리 잰 기준값을 뺀 값이라 평균이 13.36과 13.38로 표시되는데, 어느 쪽으로 봐도 차이는 0.03 안쪽입니다.

![15개 바이옴별로 MD4 패치 2, MD4 패치 4, DDPM 패치 2의 FID를 기준값을 뺀 값으로 비교한 막대그래프. 평균은 13.36, 14.28, 13.38이고 마을에서 MD4 패치 4 막대가 두드러지게 높다](https://arxiv.org/html/2604.22847v1/imgs/md4p2_md4p4_ddpm_fid_difference_fig.png)

차이는 조각 크기에서 났습니다. 같은 가림 방식을 조각 2와 4로 학습시키자 평균은 59.26과 60.64로 비슷했지만, 마을 FID는 61.65와 78.27로 벌어졌습니다. 조각 4는 트랜스포머가 읽는 길이가 8분의 1이라 생성이 훨씬 싸지만, 구조가 복잡한 마을에서는 해상도가 모자랐습니다. 저자들은 조각 2 모델이 학습 분포 밖의 조건에도 더 잘 버텨서, 사람이 만든 맵 학습과 조건 생성 실험에는 조각 2를 썼다고 밝혔습니다.

데이터 구성도 결과를 갈랐습니다. 바이옴 15종을 약 6만 7,000개씩 고르게 담은 데이터, 게임 속 자연 비율대로 담은 데이터, 마을만 두 배로 늘린 데이터로 같은 모델을 학습시켰더니 평균 FID는 비슷했습니다. 자연 비율 데이터는 고른 데이터보다 5.3배 많이 담긴 바다에서 크게 좋아지고 마을과 동굴에서 나빠졌으며, 마을을 두 배로 늘린 데이터는 마을에서 크게 좋아졌습니다.

## 사람이 놓은 블록은 가림 방식만 지킵니다

점수가 같은 두 방식 가운데 저자들이 가림 방식을 앞세운 이유는 점수 밖에 있습니다. 가림 방식은 한 번 벗겨진 블록이 생성 끝까지 바뀌지 않도록 설계돼 있습니다. 그래서 사람이 원하는 블록을 처음부터 벗겨진 상태로 넣어 두면, 모델은 그 블록을 반드시 지킬 조건으로 두고 나머지만 채웁니다. 노이즈 방식에 깨끗한 블록을 중간에 끼워 넣으면 학습 때 정해 둔 노이즈 일정을 어기게 돼 같은 일이 되지 않습니다.

이 성질 하나로 여러 기능이 따로 학습하지 않아도 나왔습니다. 기존 청크에서 8×32×8블록 조각만 남기고 나머지를 다시 만들게 하면, 같은 조각을 두고도 지형이 매번 다르게 채워졌습니다. 기존 청크에서 두께 4블록짜리 판만 남기고 얼음, 높은 산, 해변 같은 다른 바이옴을 지정하면 두 지형이 섞인 청크가 나왔습니다.

더 어려운 시험은 게임에 원래 없는 모양이었습니다. 연구진은 사인 곡선과 나선, 화산과 폭포처럼 학습 데이터에 없는 블록 패턴을 손으로 그려 넣었고, 모델은 그 패턴을 살린 채 주변을 그럴듯한 지형으로 이어 붙였습니다. 화산 모양으로 세운 블록 둘레에는 분화구가 있는 산이 생겼습니다. 한 가지 손질은 있었습니다. 사람이 놓은 패턴을 모델이 흙으로 덮어 땅속에 묻지 않도록, 패턴 위에 보이지 않는 공기 블록을 깔아 줬습니다.

![사람이 손으로 놓은 동심원, 지그재그, 나선, 화산, 폭포, 기둥 같은 블록 패턴과 그 둘레를 모델이 지형으로 채운 청크를 짝지어 세 줄로 늘어놓은 그림](https://arxiv.org/html/2604.22847v1/imgs/seeded_infills_small.png)

32블록 청크 하나로는 세계가 되지 못합니다. 전체 월드를 통째로 학습시키기에는 계산량이 너무 커서, 연구진은 생성 창을 조금씩 옮기며 앞서 만든 청크와 겹치는 블록을 다음 청크의 고정 조건으로 물려줬습니다. 이음매가 어긋나지 않고 크기에 제한이 없습니다. 조건 없이 이어 붙인 5×5 월드, 줄마다 얼음·숲·평원·사막을 지정한 4×4 월드에 이어, 청크 네 개에 걸친 고리 모양 물길을 그려 넣어 가운데에 섬이 생긴 4×4 월드도 만들었습니다. 이 글 맨 위의 사진은 「Dream³」 글자를 고정 블록으로 넣어 두고 주변을 채운 월드입니다.

![조건 없이 만든 월드, 바이옴을 줄마다 지정한 월드, 물길 고리와 화산을 블록으로 지정한 월드 세 개를 나란히 놓은 그림](https://arxiv.org/html/2604.22847v1/imgs/combined_world_gen.png)

## 사람들은 실제 지형보다 생성 지형을 더 골랐습니다

연구진은 마인크래프트를 해 본 소속 기관 사람 19명에게 두 묶음의 청크를 보여 주고 더 나은 쪽을 고르게 했습니다. 묶음마다 청크 네 개가 들어 있었고, 참가자들은 청크를 3차원으로 돌려 보며 목표 바이옴에 잘 맞고 어색한 구조가 적은 쪽을 먼저 고르라는 지시를 받았습니다. 한 사람이 60번씩, 모두 1,000번 남짓 비교했습니다.

| 비교 | 생성 쪽을 고른 비율 | 비교 횟수 |
| --- | --- | --- |
| 가림 방식(조각 2) 대 실제 지형 | 67.1% | 173 |
| 가림 방식(조각 4) 대 실제 지형 | 57.1% | 163 |
| 노이즈 방식(조각 2) 대 실제 지형 | 55.2% | 192 |

세 모델 모두 실제 지형보다 더 많이 선택됐고, 가림 방식 두 모델은 통계적으로도 유의했습니다. 저자들은 이 결과를 조심스럽게 해석했습니다. 생성할 때 쓴 분류기 없는 안내(원하는 바이옴 쪽으로 출력을 더 세게 미는 기법)가 결과를 그 바이옴의 전형적인 모습으로 끌고 가는데, 실제 청크는 여러 바이옴이 섞이거나 특징이 밋밋한 경우가 있어서 바이옴에 맞는 쪽을 고르라는 질문이 생성 쪽에 유리했을 수 있다는 설명입니다.

모델끼리 붙이면 조각 2 모델 둘은 49.4%로 우열이 없었고, 둘 다 조각 4 모델을 이겼습니다. 마을 바이옴에서 조각 4 모델의 승률은 16.1%까지 떨어져 FID에서 본 차이와 같은 방향을 가리켰습니다. FID가 낮은 쪽을 사람이 고른 비율은 전체로는 54.3%에 그쳤고, FID 차이가 15점 넘게 벌어진 비교만 추리면 66.1%까지 올라갔습니다.

## 5×5 월드 하나에 H100으로 한 시간 넘게 걸립니다

저자들은 한계를 따로 적었습니다. 확산 모델은 생성 단계를 여러 번 거쳐서 5×5 월드 하나를 만드는 데 H100 GPU로 한 시간 넘게 걸리고, 모델 하나의 FID를 계산하는 데만 추론에 약 60 GPU시간이 듭니다. 그래서 FID도 모델당 그림 1,500장으로 잴 수밖에 없었고, 학습 중에 모델을 고르는 기준으로는 쓰지 못했습니다.

FID는 렌더링한 겉모습만 봅니다. 건물 안이 제대로 만들어졌는지, 동굴이 어떻게 이어지는지, 문에 실제로 닿을 수 있는지는 재지 못합니다. 데이터가 2017년 판이라 그 뒤에 들어온 바이옴과 블록, 구조물이 빠져 있고, 사람이 만든 맵은 블록 종류를 묶는 과정에서 세부가 줄었습니다. 사람 평가는 바이옴 조건 생성만 대상으로 했고, 이 글의 앞에서 본 블록 고정과 이어 붙이기 기능은 사람이 평가하지 않았습니다.

사람이 만든 맵에는 권리 문제도 얽혀 있습니다. 데이터에 쓴 맵 여섯 개는 맵을 팔아 수입을 버는 전문 제작자 한 명의 작품입니다. 연구진은 연구 목적의 사용과 공개를 명시적으로 허락받았다고 밝히면서도, 이런 모델을 무책임하게 쓰면 창작자 공동체의 생계를 해칠 수 있고 작품의 고유성과 출처 표기 문제가 따른다고 적었습니다.

## 데이터와 가중치는 누구나 받을 수 있습니다

코드는 깃허브 SakanaAI/DreamCubed에, 데이터셋과 가림·노이즈 방식 모델 가중치는 허깅페이스에 올라 있습니다. 논문은 이 수집 파이프라인 위에 새 도구가 붙어 게임의 원래 표현과 일대일로 대응하는 생성 모델이 나오기를 바란다고 적었습니다.

저는 이 발표에서 오래 쓰일 쪽이 선호율보다 공개된 데이터와 수집 파이프라인이라고 봅니다. 67.1%는 한 기관 19명의 평가이고 저자들도 전형으로 쏠린 결과일 수 있다고 적었지만, 마을 좌표를 미리 계산하고 세 가지 조건으로 거른 청크 17만 8,271개는 다음 연구가 그대로 받아 쓸 수 있습니다. 5×5 월드 한 장에 GPU 한 시간이 드는 속도가 게임 안에서 바로 쓸 수 있는 수준까지 내려올지가 이 계열의 다음 숫자입니다.

읽어 주셔서 고맙습니다.

초이 드림