# 튜링상 야오 이름 올린 바이트댄스 논문, '읽으며 배우는' 기억을 다시 짰습니다
_바이트댄스 Seed·프린스턴·칭화 연구진이 선형 어텐션이 기억을 고쳐 쓰는 규칙을 실시간 학습 문제로 다시 풀었습니다. 32자리까지 배운 덧셈을 33~48자리로 늘린 시험에서 Falcon은 87.2%, 트랜스포머는 65.8%였고, 이 기억은 입력이 끝나면 사라집니다._
- 매체: 초이의 뉴스레터 · 논문
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-09-01T10:00
- 링크: https://choi-newsletter.com/post/paper-falcon-fast-weight-continual-learning
- 답하는 질문: 바이트댄스 Falcon 논문은 무엇을 바꿨나
- 직답: 선형 어텐션이 기억을 고쳐 쓰는 규칙을 실시간 학습으로 다시 짰고, 33~48자리 덧셈에서 87.2%로 트랜스포머(65.8%)를 앞섰습니다.
- 논문: Yifan Zhang 외 10명 (ByteDance Seed·Princeton·Tsinghua, 교신저자 Mengdi Wang·Quanquan Gu·Andrew Chi-Chih Yao) · arXiv preprint 2608.27763
- 출처: Zhang 외, Fast Weight Attention for Continual Learning (arXiv 2608.27763, 2026-08-27) (https://arxiv.org/abs/2608.27763), Falcon 프로젝트 페이지 (https://yifanzhang-pro.github.io/fast-weight-attention/), GitHub, yifanzhang-pro/fast-weight-attention (https://github.com/yifanzhang-pro/fast-weight-attention), Dwarkesh Podcast, Ilya Sutskever 대담 대본 (2025-11-25) (https://www.dwarkesh.com/p/ilya-sutskever-2), Albert Gu, On the Tradeoffs of SSMs and Transformers (2025) (https://goombalab.github.io/blog/2025/tradeoffs/), Behrouz 외, Titans: Learning to Memorize at Test Time (arXiv 2501.00663) (https://arxiv.org/abs/2501.00663), Kaiser·Sutskever, Neural GPUs Learn Algorithms (arXiv 1511.08228) (https://arxiv.org/abs/1511.08228), Brown 외, Language Models are Few-Shot Learners (GPT-3, arXiv 2005.14165) (https://arxiv.org/abs/2005.14165), Kimi Team, Kimi Linear (arXiv 2510.26692) (https://arxiv.org/abs/2510.26692), MiniMax, Why Did M2 End Up as a Full Attention Model? (2025-10-30) (https://huggingface.co/blog/MiniMax-AI/why-did-m2-end-up-as-a-full-attention-model), 엘리 바쿠슈 X (2026-08-26) (https://x.com/eliebakouch/status/2092622716046107132)
> 8월 27일 arXiv에 올라온 Falcon은 선형 어텐션의 기억 갱신을 작은 예측기의 실시간 학습으로 보고 규칙 여섯 개를 내놨습니다. 32자리까지 배운 덧셈을 33~48자리로 늘린 시험에서 87.2%로 트랜스포머(65.8%)를 앞섰습니다.

8월 27일(미국 시각) arXiv에 Fast Weight Attention for Continual Learning, 줄여서 Falcon이라는 논문이 올라왔습니다. 바이트댄스의 AI 연구 조직 Seed와 프린스턴대, 칭화대 연구진 11명이 함께 썼고, 문맥을 읽는 동안 고정 크기 기억을 고쳐 쓰는 일을 작은 예측기를 실시간으로 훈련하는 문제로 다시 풀어 갱신 규칙 여섯 개를 내놨습니다. 교신저자 세 사람 가운데 한 명이 2000년 튜링상 수상자 앤드류 야오입니다.

## 틱톡 모회사의 연구 조직과 튜링상 수상자

제1저자 이판 장(Yifan Zhang)은 바이트댄스 Seed와 프린스턴대를 함께 소속으로 적었고, 연구 일부를 Seed에 있을 때 했다고 각주에 밝혔습니다. 교신저자는 프린스턴대 멍디 왕(Mengdi Wang), 바이트댄스 Seed의 콴콴 구(Quanquan Gu), 칭화대 앤드류 야오 세 사람입니다. 논문 첫 장에 적힌 작성일은 arXiv 공개보다 다섯 달 넘게 앞선 3월 9일이고, 저자들은 프로젝트 페이지와 코드 저장소를 함께 열었습니다.

야오는 계산 이론에 기여한 공로로 2000년 튜링상을 받았고, 칭화대에서 컴퓨터과학 영재반을 20년 넘게 이끌어 왔습니다. 그의 이름을 딴 야오반의 한 학생이 딥시크에서 받았다는 인턴 제안은 [7월 중국 매체에 실리기도 했습니다](/post/review-china-ai-talent-pipeline). 틱톡을 만든 회사의 연구 조직과 중국 이론 전산학의 원로가 함께 이름을 올린 주제는 언어 모델이 글을 읽는 동안 기억을 어떻게 고쳐 쓰느냐입니다.

## 훈련이 끝난 모델은 왜 배우지 못하나

훈련을 마친 언어 모델은 가중치가 고정된 채 배포됩니다. 대화 중에 새 자료를 넣으면 그 대화 안에서는 참고하지만, 대화가 끝나면 모델에는 아무것도 남지 않습니다. 이 한계를 넘으려는 연구를 지속학습(continual learning)이라고 부르는데, 오픈AI 공동창업자였던 일리야 수츠케버는 2025년 11월 드와케시 파텔 팟캐스트에서 이 문제를 AGI의 정의와 묶어 설명했습니다.

> 사람은 AGI가 아닙니다. 분명 기본 능력은 있지만 사람에게는 없는 지식이 엄청나게 많습니다. 그 대신 우리는 지속학습에 기댑니다.
> — 일리야 수츠케버, SSI 공동창업자

드와케시 파텔 팟캐스트, 2025년 11월 25일

수츠케버는 같은 대담에서 의욕 넘치는 15살 학생 같은 초지능을 만들어 프로그래머나 의사 일을 배우러 보내는 그림을 그렸고, 배포 자체에 시행착오로 배우는 기간이 들어간다고 말했습니다. 그는 이것을 완성품을 한 번에 내놓는 일과 다른 과정이라고 했습니다. 2024년 튜링상 수상자 리처드 서튼도 올해 7월 계속 배우는 에이전트를 만들겠다며 오크 랩을 세웠습니다.

튜링상 수상자 리처드 서튼과 쿠람 자베드가 세쿼이아 팟캐스트에서 계속 배우는 에이전트 구상을 밝힌 대담입니다.

지금 언어 모델 대부분이 쓰는 트랜스포머는 읽은 토큰마다 키와 값을 계산해 KV 캐시라는 메모리에 쌓아 둡니다. 새 토큰을 만들 때마다 이 캐시를 전부 다시 살피기 때문에 계산량이 문맥 길이의 제곱으로 늘고, 문맥이 두 배가 되면 계산은 네 배가 됩니다. 선형 어텐션과 Mamba 같은 상태공간 모델은 반대로 지나간 문맥을 크기가 정해진 상태 하나에 눌러 담아, 문맥이 아무리 길어져도 상태의 크기는 그대로입니다.

Mamba를 트라이 다오와 함께 만든 앨버트 구는 2025년 블로그 글에서 이 차이를 데이터베이스와 뇌에 빗댔습니다. 트랜스포머는 새로 본 것을 전부 나중에 찾아볼 항목으로 철해 두는 데이터베이스이고, 상태공간 모델은 크기가 정해진 채 늘 켜져 있으면서 들어오는 입력을 바로 처리하는 뇌라는 설명입니다. Falcon은 이 뇌 쪽 기억에 새 정보를 어떻게 써 넣을지를 다룹니다.

## 고정 크기 기억을 고쳐 쓰는 일은 학습과 같은 꼴입니다

Falcon은 고정 크기 상태를 작은 선형 예측기로 봅니다. 토큰을 하나 읽을 때마다 이 예측기에 학습 예제가 하나 생기고, 상태를 한 번 고쳐 쓰는 일은 예측이 틀린 만큼 가중치를 고치는 경사하강법 한 걸음과 같은 꼴이 됩니다. 본체 가중치와 따로 움직이며 문맥을 읽는 동안만 빠르게 바뀐다고 해서 이런 상태를 fast weight라고 부릅니다.

이름의 역사는 길어서, 논문 참고문헌에는 1987년 제프리 힌턴과 데이비드 플라우트의 fast weight 논문과 1992년 위르겐 슈미트후버의 논문이 올라 있습니다. 2021년에는 슈미트후버 연구실이 선형 트랜스포머가 사실상 fast weight를 프로그래밍하는 장치라는 논문을 내면서, 기억을 오차만큼 고치는 델타 규칙(DeltaNet)을 함께 제안했습니다. 구글 연구진이 2024년 마지막 날 arXiv에 올린 Titans는 추론 중에 기억 자체를 최적화하는 쪽으로 이 흐름을 넓혔고, Falcon은 서문에서 Titans 계열의 시각 위에 서 있다고 밝혔습니다.

Falcon이 이 계보에 더한 조정 세 가지 가운데 먼저 꼽을 것은 학습 짝을 한 토큰 어긋나게 다시 맞춘 일입니다. 기존 규칙 다수는 같은 시점의 키와 값을 짝지어 저장하는데, 언어 모델은 실제로 앞에서 본 것으로 다음에 올 것을 맞힙니다. Falcon은 직전 토큰의 특징으로 이번에 드러난 값을 맞히도록 짝을 다시 맞췄고, 같은 시점 짝짓기는 미래를 훔쳐보지는 않아도 기억이 풀 문제와 다른 목표를 학습한다고 지적했습니다.

![Falcon 논문 그림 3. A는 같은 시점의 키와 값을 묶는 기존 규칙, B는 직전 토큰의 키로 이번 값을 예측하고 오차만큼 상태를 고치는 Falcon-1·2, C는 최근 토큰 묶음으로 고치는 Falcon-3·3A를 수식과 함께 그렸습니다.](/figures/vault/paper-falcon-fast-weight-continual-learning/falcon-conceptual-overview.png)

두 번째는 학습률을 입력의 크기로 나누는 정규화입니다. 신호처리의 적응 필터에서 오래 써 온 정규화 최소평균제곱(NLMS) 방식을 가져와, 입력이 크면 그만큼 보폭을 줄여 토큰 하나가 기억을 통째로 덮어쓰지 않게 했습니다. 세 번째로 오래된 기억을 줄이는 망각 계수와 최근 토큰 몇 개를 묶어 다시 학습하는 슬라이딩 윈도우를 별도 항으로 떼어, 무엇을 얼마나 세게 쓰고 무엇을 잊고 무엇을 복습할지를 따로 조절하게 했습니다.

그렇게 나온 규칙 여섯 개는 오차의 제곱을 줄이는 회귀형 Falcon-1·2·3과 내적을 키우는 내적형 Falcon-1A·2A·3A로 나뉘고, 숫자 1은 학습률 하나, 2는 값 채널마다 다른 학습률, 3은 최근 토큰 묶음으로 고치는 방식을 가리킵니다. 다만 Falcon-2와 2A, 3은 정의만 하고 본 실험 표에서 따로 시험하지 않았습니다.

## 1억 3,000만 파라미터 모델로 잰 언어 성적

검증은 작은 모델로 했습니다. 1억 2,400만~1억 3,000만 파라미터 모델들을 교육용 웹 문서 모음 FineWeb-Edu로 10만 스텝씩, 토큰으로 약 492억 개를 똑같이 훈련해 비교했습니다. 퍼플렉시티는 다음 토큰을 고를 때 모델이 얼마나 헷갈리는지 나타내는 값으로, 낮을수록 좋습니다.

| 모델 | FineWeb-Edu | 위키텍스트 | LAMBADA |
| --- | --- | --- | --- |
| 트랜스포머 | 17.38 | 33.25 | 47.43 |
| Gated DeltaNet | 17.32 | **30.99** | **46.70** |
| Mamba-2 | 17.70 | 34.53 | 48.74 |
| DeltaNet | 17.84 | 34.19 | 52.84 |
| RetNet | 18.79 | 36.86 | 65.16 |
| Falcon-1A.3 | 17.40 | 34.02 | 49.84 |
| Falcon-1.3 | **17.10** | 33.00 | 48.70 |

단위는 퍼플렉시티이고 낮을수록 좋습니다(출처: Falcon 논문 표 1).

훈련 데이터와 같은 종류인 FineWeb-Edu 검증에서는 회귀형 Falcon-1.3이 17.10으로 가장 낮았습니다. 한데 위키백과 문서(위키텍스트)와 긴 지문의 마지막 단어를 맞히는 LAMBADA에서는 Gated DeltaNet이 30.99와 46.70으로 Falcon-1.3의 33.00과 48.70보다 낮았습니다. LAMBADA만 보면 트랜스포머(47.43)도 Falcon-1.3보다 낮았습니다. FineWeb-Edu에서 트랜스포머와 벌어진 차이는 0.28, 비율로 1.6%입니다.

비교 대상 가운데 가장 강했던 Gated DeltaNet은 알리바바가 8월 14일 공개한 [Qwen3.8-27B의 레이어 64개 가운데 48개](/post/news-qwen38-27b-local-frontier-agent)를 채운 선형 어텐션입니다. 상식·과학 문답 8개 과제 평균에서는 예시 없이 푸는 제로샷 1위가 Falcon-1A.2(49.30)였고, 예시 하나를 주는 원샷 1위는 트랜스포머(49.67)였습니다. Falcon-1.3은 원샷 49.54로 순환 계열 가운데 1위였고, 저자들도 이 표를 모든 항목의 승리로 내세우지 않았습니다.

> 제안한 정렬·정규화 갱신은 언어 모델 품질을 경쟁력 있게 유지하면서, 아래에 보고한 덧셈에서 통제된 이득을 줍니다.
> — Falcon 논문 5.1절

## 32자리까지 배운 덧셈을 48자리까지 시켰습니다

덧셈 시험은 1자리부터 32자리까지의 덧셈만 가르친 뒤 한 번도 본 적 없는 33~48자리 덧셈을 시키는 방식입니다. 답은 일의 자리부터 거꾸로 쓰게 해서, 모델이 받아올림을 차례로 들고 가게 했습니다. 문제가 길어질수록 앞에서 본 숫자를 기억 속에 정확히 붙들어야 하니, 고정 크기 상태에 무엇을 어떻게 써 넣느냐가 성적으로 바로 드러납니다.

점수는 teacher forcing 방식으로 쟀습니다. 모델이 자기가 앞서 쓴 숫자를 이어 가지 않고 숫자 하나를 맞힐 때마다 정답 앞부분을 받아 놓고 다음 숫자를 맞히게 한 정확도라, 한 번 틀린 숫자가 뒤 숫자까지 끌고 내려가는 실제 생성과는 조건이 다릅니다.

| 모델 | 33~48자리 평균 | 33자리 | 48자리 |
| --- | --- | --- | --- |
| Falcon-3A.3 | **87.2%** | 100% | 69% |
| Falcon-1A.3 | 85.9% | 100% | 69% |
| RetNet | 82.9% | 99% | 63% |
| Mamba-2 | 75.2% | 100% | 51% |
| Falcon-1.3 | 68.8% | 100% | 48% |
| 트랜스포머 | 65.8% | 97% | 49% |

teacher forcing으로 잰 정확도입니다(출처: Falcon 논문 표 3).

배운 범위의 검증에서는 모든 모델이 99.7~100%였으니, 차이는 처음 보는 길이에서만 났습니다. 트랜스포머는 33자리 97%에서 48자리 49%로 떨어졌고, Falcon-3A.3은 같은 구간에서 100%에서 69%로 내려왔습니다. 고정 상태를 쓰는 RetNet(82.9%)과 Mamba-2(75.2%)도 트랜스포머보다 높았고, Falcon 내적형 변형 넷 가운데 셋(85.2~87.2%)이 그 위에 올랐습니다.

같은 표에서 퍼플렉시티 1위였던 회귀형 Falcon-1.3은 평균 68.8%로 Falcon 변형 가운데 가장 낮았고, 48자리에서는 48%로 트랜스포머(49%)보다도 1%포인트 낮았습니다. 언어 성적이 가장 좋은 규칙과 길이에 가장 강한 규칙이 서로 다른 변형으로 갈렸고, 저자들은 덧셈 실험을 논문의 주된 결과로 내세우지 않고 보조 증거라고 적었습니다.

덧셈 과제 설계는 논문이 밝힌 대로 2015년 우카시 카이저와 일리야 수츠케버의 Neural GPU 논문을 따랐고, Neural GPU는 20비트까지의 이진수로 덧셈과 곱셈을 배운 뒤 훨씬 긴 수에서도 오류를 내지 않았다고 초록에 적었습니다. 2020년 1,750억 파라미터 GPT-3는 덧셈을 따로 훈련받지 않고 예시 몇 개만 본 채로 두 자리 덧셈을 100% 맞혔지만, 다섯 자리에서는 9.3%에 그쳤습니다. 알고리즘 전용으로 설계한 구조는 배운 길이를 넘어섰고 범용 언어 모델은 자릿수가 늘자 무너졌는데, Falcon이 시험한 모델은 언어 모델로도 쓰는 구조에 이 덧셈만 따로 가르친 경우입니다.

## 딥시크를 뺀 중국 프런티어 모델이 쓰는 기억 구조

실험 모델은 작아도, Falcon이 손댄 갱신 규칙과 같은 계열은 이미 큰 모델 안에서 돌고 있습니다. 허깅페이스의 엘리 바쿠슈는 8월 26일, 딥시크를 뺀 중국 프런티어 모델이 이제 모두 선형 어텐션을 쓴다고 정리했습니다.

문샷AI의 [Kimi K3](/post/news-kimi-k3-open-weight-frontier)는 선형 어텐션인 Kimi Delta Attention(KDA) 블록 셋마다 모든 토큰을 다시 보는 전역 어텐션 블록을 하나씩 섞었습니다. 8월 26일 [같은 날 나온 Qwen3.8-Flash-Next와 GLM-5.3-Flash](/post/news-china-two-releases-qwen-glm)도 레이어 넷 가운데 셋을 선형 어텐션으로 채웠고, GLM-5.3-Flash에는 KDA 레이어가 34개 들어갔습니다. 국내에서는 업스테이지가 7월 [Solar Open 2](/post/news-upstage-solar-open2-onprem)를 소프트맥스 어텐션 레이어 1개 뒤에 선형 어텐션 레이어 3개를 붙인 묶음 12개로 쌓았습니다.

![Kimi K3 구조도. 왼쪽 위는 공유 전문가와 라우팅 전문가로 된 MoE 모듈, 왼쪽 아래는 짧은 합성곱과 L2 정규화를 거치는 Kimi Delta Attention 모듈, 오른쪽은 KDA 블록 3개와 Gated MLA 블록 1개가 반복되는 구조입니다.](https://mintcdn.com/moonshotai/xt8rJOVt525RyQ_Z/assets/pics/k3-arch.png?fit=max&auto=format&n=xt8rJOVt525RyQ_Z&q=85&s=5e1aeec805bbadfb65d718100bb560d2)

문샷이 이 구조를 택하며 내세운 근거는 비용이었습니다. 문샷은 2025년 10월 KDA를 처음 쓴 Kimi Linear(전체 480억, 활성 30억 파라미터)를 내며 100만 토큰 문맥에서 KV 캐시를 최대 75% 줄이고 디코딩 처리량을 최대 6배로 높였다고 밝혔습니다. KV 캐시를 쌓는 레이어가 넷 중 하나로 줄면 같은 칩 메모리에 더 긴 문맥과 더 많은 요청이 들어갑니다.

저는 이 논문에서 87.2%보다 부록의 한 문장을 더 오래 봤습니다. Falcon 부록은 RWKV-7과 Kimi Linear의 KDA를 직접 거론하며, 자신들의 정규화와 시점 정렬을 이런 델타 규칙 블록 안의 갱신 식에 그대로 바꿔 끼울 수 있다고 적었습니다. 블록마다 다른 게이트나 섞는 방식은 그대로 두고 상태에 쓰는 식만 바꾼다는 설명입니다. K3 구조도의 KDA 모듈에 보이는 짧은 합성곱과 L2 정규화도 Falcon 실험 모델에 들어간 부품입니다.

## 선형 어텐션에서 물러선 회사도 있었습니다

2025년 1월 선형 어텐션을 섞은 MiniMax-01로 400만 토큰 문맥을 연 중국 MiniMax는, 같은 해 10월 30일 허깅페이스 블로그에 새 모델 M2를 전체 어텐션으로 만든 이유를 올렸습니다. 문샷의 Kimi Linear 논문이 arXiv에 올라온 바로 그날입니다.

> 그 대가는 더 큰 규모에서 분명해졌습니다. 모델은 복잡한 다단계 추론 과제에서 뚜렷한 결함을 보였습니다.
> — MiniMax, 2025년 10월 30일 블로그

MiniMax는 하이브리드 모델이 표준 벤치마크에서는 전체 어텐션과 비슷해 보였지만 규모를 키우자 차이가 드러났다고 적었고, 서빙 문제도 함께 들었습니다. 선형 어텐션은 상태를 낮은 정밀도로 저장할 때 훨씬 민감하고, 대화 서비스에서 높은 프리픽스 캐시 적중률을 살리기 어렵고, 추측 디코딩과 맞추는 방법도 정리되지 않았다는 설명입니다.

Falcon의 실험은 1억 3,000만 파라미터에서 멈췄고, MiniMax가 결함을 본 것은 그보다 훨씬 큰 규모였습니다. 논문의 퍼플렉시티 표와 덧셈 표로는 이 우려에 답할 수 없습니다. 서빙 문제 일부는 그 뒤 다른 회사가 풀어 왔는데, 문샷은 K3를 공개하며 [KDA용 프리픽스 캐시 덕분에 경쟁력 있는 토큰 가격을 낼 수 있었다](/post/review-moonshot-k3-full-stack-open)고 블로그에 적었습니다.

## 이 기억은 대화가 끝나면 사라집니다

Falcon의 fast weight는 문맥을 읽는 동안만 바뀌는 상태이고, 입력이 끝나면 사라집니다. 본체 가중치는 한 번도 바뀌지 않으니, 수츠케버가 말한 배포하면서 배우는 모델과는 아직 거리가 있습니다. 논문이 제목에 쓴 지속학습은 한 문맥 안에서 새 증거를 이미 쓴 기억과 충돌 없이 써 넣는 문제를 가리킵니다.

실험 규모가 작다 보니 대학 연구실도 같은 조건으로 다시 돌려 볼 수 있는 크기이고, 저자들은 코드와 논문 PDF를 저장소에 공개했습니다. 업스테이지처럼 선형 어텐션 레이어를 이미 쓰는 국내 팀이라면 Falcon의 정규화와 시점 정렬을 그 블록에 바꿔 끼워 시험해 볼 수 있습니다.

남은 확인 거리는 수십억 파라미터 모델에서도 같은 이득이 남는지, teacher forcing 없이 모델이 스스로 답을 써도 길이 일반화가 재현되는지, Gated DeltaNet과 KDA를 쓰는 Qwen과 Kimi의 다음 모델이 이런 규칙을 들이는지 세 가지입니다. MiniMax가 큰 규모에서 본 다단계 추론 결함을 이 규칙이 줄이는지는 논문에 실험이 없습니다.

읽어 주셔서 고맙습니다.

초이 드림