# 독일산 오픈웨이트 Kolibri 공개, 미세조정 교사는 중국 GLM·Qwen
_독일 알레프 알파가 781억 파라미터 가운데 35억 개만 계산하는 Kolibri를 아파치 2.0으로 공개했습니다. 처음부터 학습한 주권형 모델이지만, 미세조정 데이터의 교사는 중국 GLM·Qwen이었고 정치 편향은 오픈AI 모델로 걸렀습니다._
- 매체: 초이의 뉴스레터 · 소식
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-10-03T21:30
- 링크: https://choi-newsletter.com/post/news-aleph-alpha-kolibri-open-weights
- 답하는 질문: 알레프 알파 Kolibri 상업 이용과 한국어 지원
- 직답: Kolibri는 아파치 2.0이라 상업 이용이 자유롭지만 지원 언어는 독일어와 영어이고, 한국어 성능 수치는 공개되지 않았습니다.
- 출처: Aleph Alpha, Kolibri Has Landed: A Sovereign Open-Weight Model (10월 3일) (https://aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model/), Hugging Face, Aleph-Alpha/Kolibri-1 모델 카드 (https://huggingface.co/Aleph-Alpha/Kolibri-1), Aleph Alpha, Kolibri: A Sovereign European Model on the Pareto Frontier (기술 보고서, 189쪽) (https://aleph-alpha.com/downloads/tech-report.pdf), Aleph Alpha, Training on the Party Line (9월 28일) (https://aleph-alpha.com/en/blog/training-on-the-party-line/), Aleph Alpha X, 독일어 추론 실험 (9월 24일) (https://x.com/Aleph__Alpha/status/2103139585039511700), GitHub, Aleph-Alpha/aleph-alpha-inference (Apache-2.0) (https://github.com/Aleph-Alpha/aleph-alpha-inference), Aleph Alpha, Cohere and Aleph Alpha Sign Agreement (9월 16일) (https://aleph-alpha.com/en/news/cohere-agreement-transatlantic-sovereign-ai/), Aleph Alpha, Cohere and Aleph Alpha to Form Global AI Powerhouse (4월 24일) (https://aleph-alpha.com/en/news/cohere-aleph-alpha-global-ai-powerhouse/), Aleph Alpha, Reto Spörri leaves Aleph Alpha (9월 28일) (https://aleph-alpha.com/en/news/reto-spoerri-leaves-ilhan-scheer-ceo/), Aleph Alpha, Aligns Its Organization With Strategic Priorities (1월 8일) (https://aleph-alpha.com/en/news/organization-aligned-with-strategic-priorities/), Aleph Alpha, Start for the European AI language model Open GPT-X (2022년 1월 26일) (https://aleph-alpha.com/en/news/open-gpt-x-project-start/), Aleph Alpha, LUMINOUS series launched (2022년 4월 14일) (https://aleph-alpha.com/en/news/luminous-series-launched/), Aleph Alpha, Series B over half a billion US Dollars (2023년 11월 6일) (https://aleph-alpha.com/en/news/half-billion-dollar-investment-round/), Hugging Face, Aleph-Alpha/Pharia-1-LLM-7B-control (Open Aleph License) (https://huggingface.co/Aleph-Alpha/Pharia-1-LLM-7B-control), Mistral AI, Introducing Mistral 3 (2025년 12월 2일) (https://mistral.ai/news/mistral-3), Mistral AI, Introducing Mistral Small 4 (2026년 3월 16일) (https://mistral.ai/news/mistral-small-4), EU AI Act 51조 (AI Act Explorer) (https://artificialintelligenceact.eu/article/51/), Hugging Face, LGAI-EXAONE/K-EXAONE-2.0-750B-A37B (https://huggingface.co/LGAI-EXAONE/K-EXAONE-2.0-750B-A37B), Hugging Face, skt/A.X-K2 (https://huggingface.co/skt/A.X-K2), Hugging Face, upstage/Solar-Open2-250B (https://huggingface.co/upstage/Solar-Open2-250B)
> 알레프 알파가 10월 3일 781억 파라미터 전문가 혼합 모델 Kolibri를 아파치 2.0으로 공개했습니다. H200 한 장에 올라가고 독일어·영어에 맞췄으며, 미세조정 데이터는 주로 GLM-5.2·5.3과 Qwen3.8-27B로 만들었습니다.

독일 AI 회사 알레프 알파가 독일 통일의 날인 10월 3일 언어 모델 Kolibri의 가중치를 허깅페이스에 아파치 2.0 라이선스로 공개했습니다. 전체 파라미터는 781억 개지만 토큰마다 35억 개만 계산하는 전문가 혼합(MoE) 모델이고, 독일어와 영어 두 언어에 맞췄으며 100만 토큰 문맥까지 검증했습니다. 회사는 독일 팀이 처음부터 학습한 주권형 모델이라고 소개했지만, 미세조정 데이터를 만드는 데 주로 쓴 교사 모델은 중국의 GLM-5.2·GLM-5.3과 Qwen3.8-27B였습니다.

알레프 알파는 기술 블로그 첫 문장에 「독일 통일의 날에 새 모델 Kolibri를 내놓는다」고 적었습니다. 독일어로 벌새라는 이름의 이 모델은 공공 행정, 산업, 항공우주처럼 규제가 많은 분야를 겨냥했고, 고객이 데이터를 외부 추론 서비스로 보내지 않고 자기 서버에서 돌릴 수 있게 작게 만들었다고 설명했습니다. 같은 날 189쪽짜리 기술 보고서와 모델 카드가 함께 올라왔습니다.

## 781억 개를 들고 35억 개만 계산합니다

전문가 혼합 모델은 작은 신경망(전문가) 여러 개를 두고, 단어 조각 하나를 처리할 때마다 그중 몇 개만 골라 씁니다. Kolibri는 레이어 50개마다 전문가 384개를 두고 토큰마다 6개와 공유 전문가 1개만 부릅니다. 계산량은 35억 파라미터 모델 수준으로 줄지만, 어느 전문가가 불릴지 모르니 781억 개 전체를 메모리에 올려 둬야 합니다.

| 항목 | Kolibri |
| --- | --- |
| 전체 파라미터 | 781억 개 |
| 토큰당 계산하는 파라미터 | 약 35억 개 |
| 문맥 길이 | 기본 262,144토큰, 1,048,576토큰까지 검증 |
| 언어 | 독일어·영어 |
| 라이선스 | 아파치 2.0(가중치·설정 파일) |
| 지식 기준일 | 2026년 6월 18일 |
| 필요한 GPU | H200·B200·B300 1장, 또는 A100 80GB·H100 2장 |
| 사전학습 | B200 768장으로 21일, 20조 토큰 |
| 학습 전력(추정) | 950MWh(사전학습·중간 학습·긴 문맥 학습) |

FP8로 저장한 가중치는 약 78GB입니다. H200이나 B200 한 장, 또는 A100·H100 두 장에 올라가는 크기라 회사 안에 서버를 두고 쓰는 조직도 들일 수 있습니다. 알레프 알파는 실험에서 모델을 320억에서 1,230억 파라미터로 키울수록 성능이 계속 올랐지만, 1,230억 파라미터 모델은 H100 두 장에서 25만 6,000토큰짜리 긴 요청을 3개만 받는 데 비해 781억 파라미터 모델은 18개를 받고 토큰 생성 속도도 28% 빨라 이 크기를 골랐다고 밝혔습니다.

긴 문맥을 싸게 처리하는 장치도 있습니다. 50개 레이어 가운데 40개는 바로 앞 512토큰만 보고, 다섯 번째마다 하나씩 있는 10개 레이어만 문맥 전체를 봅니다. 위치 정보도 512토큰만 보는 레이어에만 넣어, 26만 토큰으로 학습한 모델을 별도 처리 없이 100만 토큰까지 늘릴 수 있었다고 설명했습니다.

## 독일어로 생각하게 만든 비용

알레프 알파가 가장 공들인 것은 독일어입니다. 사전학습 20조 토큰 가운데 약 4조 3,000억 토큰(21.3%)이 독일어인데, 공개 데이터셋에서 중복을 걸러 내고 남은 독일어는 3,900억 토큰뿐이었습니다. 회사는 커먼 크롤에서 독일어 웹 문서 1조 3,000억 토큰을 직접 골라내고, 이미 가진 독일어 문서를 백과사전·문답 형식으로 다시 쓰게 해 약 1조 토큰을 더 만들었습니다.

번역은 아껴 썼습니다. 독일어 원문을 다시 쓴 문서에는 「대통령」 대신 「총리」가 남지만, 영어를 옮긴 문서는 미국 웹의 지리와 인구, 제도를 그대로 물려받는다는 이유입니다.

> 영어에서 번역한 말뭉치로 학습한 모델은 미국처럼 생긴 세계에 대해 독일어로 말하게 됩니다.
> — 알레프 알파, Kolibri 기술 블로그 (10월 3일)

토크나이저(문장을 모델이 읽는 조각으로 자르는 장치)도 독일어 합성어에 맞췄습니다. 블로그가 든 예시는 「연방사회법원의」를 뜻하는 Bundessozialgerichtes입니다. Kolibri는 이 단어를 Bundes·sozial·gericht·es로 뜻 단위에 맞춰 자르고, GPT-5와 Qwen3.8, 제미나이는 Bund·ess·oz·ial·gericht·es로 자릅니다. 회사는 같은 문장을 더 적은 조각으로 읽으면 처리 비용과 응답 시간이 함께 줄어든다고 설명했습니다.

추론 모델이 독일어로 생각하게 만드는 일은 생각보다 비쌌습니다. 알레프 알파는 9월 24일(현지 시각) X에 그 실험 결과를 올렸습니다.

영어로 생각하던 모델은 독일어 AIME 2026 문제에서 70.2점을 받았는데, 독일어 추론 데이터를 조금 섞자 48.3점으로 떨어졌고 추론 4개 중 1개는 같은 말을 되풀이하다 답을 내지 못했습니다. 독일어 데이터를 늘려 가자 점수는 다시 올라 67.3점까지 회복했습니다. 회사는 이 결과를 「눈물의 계곡을 지나」라는 글로 정리했고, Kolibri의 미세조정에는 독일어로 추론하는 데이터 106억 토큰을 넣었습니다.

## 자체 채점표에서 앞선 곳과 뒤진 곳

모델 카드의 비교표는 알레프 알파가 자체 실행 환경에서 잰 값이고, 블로그는 비교 모델마다 가장 높은 추론 설정을 썼다고 적었습니다. 활성 파라미터가 30억~120억 개인 전문가 혼합 모델들과 견준 주요 수치는 아래와 같습니다.

| 평가 | Kolibri | Qwen3.5 35B-A3B | Qwen3.6 35B-A3B | 네모트론 3 Super 120B-A12B | Mistral Small 4 119B-A6B | Qwen3.8 27B(밀집) |
| --- | --- | --- | --- | --- | --- | --- |
| 종합(영어) | 75.5 | 74.7 | 71.4 | 73.0 | 63.1 | 80.2 |
| 종합(독일어) | 70.8 | 69.8 | 67.3 | 67.9 | 61.4 | 79.9 |
| GPQA Diamond | 84.3 | 83.8 | 83.4 | 78.0 | 74.7 | 89.2 |
| AIME 2026 | 96.0 | 92.1 | 91.0 | 90.4 | 83.1 | 97.7 |
| LiveCodeBench v6 | 85.9 | 77.8 | 82.5 | 82.0 | 71.2 | 93.8 |
| SWE-bench Verified | 66.4 | 71.6 | 73.8 | 60.2 | 60.8 | 72.6 |
| TerminalBench 2.1 | 27.7 | 39.7 | – | 39.7 | 21.0 | 76.8 |
| τ³-bench 은행 | 38.1 | 11.3 | 10.6 | 15.5 | 5.7 | 50.0 |
| AA-Omniscience 비환각률 | 44.0 | 11.1 | 56.7 | 13.9 | 34.7 | 67.3 |

수학과 과학 문제, 은행 업무를 흉내 낸 에이전트 과제에서는 활성 파라미터가 3.5배인 네모트론 3 Super보다 높았습니다. 반대로 터미널을 다루는 과제와 실제 깃허브 이슈를 고치는 SWE-bench Verified에서는 같은 체급의 Qwen보다 낮았습니다. 표 맨 오른쪽의 Qwen3.8 27B는 토큰마다 270억 파라미터를 모두 계산하는 밀집 모델이라 모델 카드도 회색으로 따로 표시했는데, 이 표의 모든 항목에서 Kolibri보다 높습니다.

알레프 알파가 내세운 것은 모르는 것을 모른다고 하는 능력입니다. AA-Omniscience에서 틀린 답을 내는 대신 답을 거른 비율이 44%로, 앞서 만든 300억 파라미터 모델 Kolibri Origin의 15%보다 크게 올랐습니다. 문서에 근거가 없을 때 답을 거르도록 학습한 결과라고 회사는 설명했고, 공공기관과 기업 고객이 이 기능을 요구한다고 적었습니다.

답을 거르는 능력은 「멀린-아서」라는 자체 학습법으로 길렀습니다. 학습하는 모델(아서)에게 질문과 문서를 주는데, 멀린은 정답에 필요한 근거를 살려 둔 문서를, 모르가나는 근거를 지운 문서를 내밉니다. 아서는 어느 쪽 문서인지 모른 채 근거가 있으면 답하고 없으면 모른다고 해야 점수를 받습니다.

## 고객 업종을 본뜬 시험

알레프 알파는 공개 벤치마크로는 업종별 쓰임새를 잴 수 없다며, 독일 공공 부문과 항공우주, 자동차 부품, 반도체, 산업용 구동 기술 다섯 업종을 본뜬 자체 시험을 만들었습니다. 고객이 알려 준 실패 사례를 시험 문항으로 바꾸고, 같은 기술을 기르는 합성 훈련 환경을 따로 만들어 고객 데이터로는 학습하지 않았다고 설명했습니다.

| 업종 시험 | Kolibri | Kolibri Origin | Qwen3.5 35B-A3B | 네모트론 3 Super |
| --- | --- | --- | --- | --- |
| 자동차 부품 | 99.0 | 72.4 | 94.6 | 91.0 |
| 반도체 | 80.4 | 35.3 | 79.4 | 69.6 |
| 독일 공공 부문 | 75.0 | 54.0 | 80.0 | 78.0 |
| 산업용 구동 기술 | 60.0 | 31.4 | 60.0 | 37.3 |
| 항공우주 | 58.9 | 14.1 | 62.3 | 54.9 |

3개월 사이 Kolibri Origin보다 모든 업종에서 크게 올랐지만, 자기 고객 업종을 본뜬 시험에서도 독일 공공 부문과 항공우주는 Qwen3.5가 더 높았습니다. 회사가 겨냥 분야로 가장 먼저 든 공공 행정에서 Qwen3.5와는 5점, 네모트론 3 Super와는 3점 차이가 났습니다.

## 교사는 중국 모델, 검수는 미국 모델

모델 카드는 Kolibri가 다른 모델에 기대지 않고 처음부터 학습했다고 적었습니다. 가중치는 다른 모델에서 이어받지 않았지만, 학습 데이터는 사정이 다릅니다. 기술 보고서에 따르면 알레프 알파는 미세조정용 합성 데이터 1,740억 토큰을 만들어 공개 데이터와 섞었고(최종 2,680억 토큰), 이 데이터를 만들고 공개 데이터셋의 답을 다시 쓰는 데 주로 쓴 모델이 GLM-5.2, GLM-5.3, Qwen3.8-27B입니다.

| 쓰인 곳 | 모델 | 만든 곳 |
| --- | --- | --- |
| 영어 웹 문서 다시 쓰기 | Gemma-4-26B-A4B | 구글(미국) |
| 독일어 문서 다시 쓰기 | Mistral-Nemo-Instruct-2407 | 미스트랄(프랑스) |
| 데이터 품질 분류기용 판정 | Qwen3-32B | 알리바바(중국) |
| 미세조정 데이터 생성·재생성 | GLM-5.2, GLM-5.3 | Z.ai(중국) |
| 미세조정 데이터 생성·재생성 | Qwen3.8-27B | 알리바바(중국) |
| 중국 정치 편향 대화 걸러 내기 | gpt-oss-120b | 오픈AI(미국) |
| 근거 없는 답 거르기 데이터 판정 | Command A+ | 코히어(캐나다) |

알레프 알파는 이 데이터에 정치적 편향이 따라온다는 점을 숨기지 않았고, 기술 보고서에 이렇게 적었습니다.

> 교사 모델 여럿이 중국에서 만들어져 민감한 주제에서 알려진 정치 편향을 지니고 있다는 점을 인정합니다. 우리 모델은 유럽의 민주적 합의가 지닌 가치를 따라야 합니다.
> — 알레프 알파, Kolibri 기술 보고서

회사는 오픈AI의 gpt-oss-120b로 추론 과정까지 포함한 대화 전체를 판정해 중국 공산당 서사를 담은 대화를 지웠다고 밝혔습니다. 강화학습 보상에는 독일어·영어 답에 중국어·일본어·한국어 문자가 섞여 나오지 않게 하는 조건도 넣었습니다.

이 문제는 알레프 알파가 공개 5일 전인 9월 28일 블로그에 따로 정리했습니다. 정치적으로 민감한 질문 967개를 던졌더니 중국 모델 6개는 균형 잡힌 답을 17~41%에서만 냈고, 엔비디아의 Nemotron Cascade 2도 17%에서 중국 정부 논리가 감지됐습니다. 이 모델의 미세조정 채팅 데이터 930만 행 가운데 약 3,500행이 딥시크와 Qwen이 만든 답에서 넘어온 공산당 논리를 담고 있었습니다.

> 오픈웨이트 모델의 최전선을 중국 공산당 관할 아래 있는 모델들이 차지하고 있어, 미세조정 데이터를 만드는 데 가장 좋은 모델 상당수가 그 영향에 노출돼 있습니다.
> — 알레프 알파, 「당의 노선으로 학습하기」 (9월 28일)

미국 쪽은 반대 방향의 흐름을 문제 삼아 왔습니다. 백악관은 7월 22일 [문샷AI가 미국 모델을 증류해 Kimi K3를 만들었다고 주장](/post/review-openweight-brake-distillation-sanctions)했고, 오픈AI는 9월 30일 [문샷AI 관련자들의 증류 시도를 막았다](/post/news-openai-moonshot-distillation-disrupted)고 밝혔습니다. 증류는 큰 모델의 답을 모아 다른 모델을 가르치는 방법이고, Kolibri의 미세조정도 같은 원리로 중국 모델의 답을 받아 썼습니다. 알레프 알파는 합성 데이터를 허용적 라이선스로 공개된 모델로만 만들었다고 밝혔습니다.

## 「유럽판 GPT-3」에서 코히어 합병까지

알레프 알파가 유럽산 모델을 내건 것은 이번이 처음이 아닙니다. 2022년 1월 26일 회사는 독일 기관 10곳이 모여 「미국 GPT-3에 대한 유럽의 답」을 만들겠다는 OpenGPT-X 사업에 참여했고, 연방경제기후부가 약 1,500만 유로를 댔습니다. 그해 4월 LUMINOUS 시리즈를 상용 출시하면서는 이렇게 소개했습니다.

> LUMINOUS는 미국이나 중국의 대형 AI 언어 모델을 대신할 「메이드 인 유럽」 대안을 제공합니다.
> — 알레프 알파, LUMINOUS 출시 보도자료 (2022년 4월 14일)

| 시기 | 있었던 일 |
| --- | --- |
| 2022년 1월 | OpenGPT-X 출범(독일 기관 10곳, 정부 약 1,500만 유로) |
| 2022년 4월 | LUMINOUS 상용 출시 |
| 2023년 11월 | 시리즈 B로 5억 달러 넘게 유치(Ipai·보쉬 벤처스·슈바르츠 그룹 주도) |
| 2024년 8월 | Pharia-1-LLM-7B 공개, 비상업 연구·교육용 라이선스 |
| 2026년 1월 | 직원 약 50명 감원 |
| 2026년 4월 24일 | 코히어와 결합 계획 발표, 슈바르츠 그룹은 코히어 시리즈 E에 5억 유로 약정 계획 |
| 2026년 9월 16일 | 코히어와 최종 결합 계약 서명(규제 승인 대기) |
| 2026년 9월 28일 | 공동 CEO 레토 슈푀리 퇴임 |
| 2026년 10월 3일 | Kolibri를 아파치 2.0으로 공개 |

라이선스는 크게 달라졌습니다. 2024년 공개한 70억 파라미터 Pharia-1은 허깅페이스 판을 비상업 연구와 교육에만 쓸 수 있었고, 상업 이용은 고객에게만 열었습니다. Kolibri는 아파치 2.0이라 누구나 상업 서비스에 쓰고 고쳐서 다시 배포할 수 있고, 모델을 돌리는 데 필요한 추론 플러그인 aleph-alpha-inference도 아파치 2.0입니다. 다만 라이선스는 저장소에 올린 가중치와 설정 파일에만 해당하고, 학습 코드와 방법은 회사 권리로 남겨 뒀습니다.

9월 16일 서명한 결합 계약에 따르면 알레프 알파와 코히어가 합친 회사는 전 세계에서 코히어라는 이름을 쓰고 베를린과 토론토에 본사를 두며, 하이델베르크 사무소는 연구 거점으로 남습니다. 거래는 규제 승인을 거쳐 연내 마무리될 예정이고, Kolibri는 그 전에 알레프 알파 이름으로 나왔습니다.

## 유럽 오픈웨이트 모델 가운데 Kolibri

유럽 회사 가운데 가중치를 꾸준히 공개해 온 곳은 프랑스 미스트랄입니다. 미스트랄은 2025년 12월 2일 전체 6,750억·활성 410억 파라미터의 Mistral Large 3를 아파치 2.0으로 내놨고, 2026년 3월 16일 추론·이미지·코딩을 한 모델에 합친 Mistral Small 4도 아파치 2.0으로 공개했습니다. Kolibri는 이보다 작은 크기로 독일어와 영어 두 언어에 집중했습니다.

학습에 쓴 연산량은 6.4×10^23 FLOP입니다. EU AI 법 51조는 학습 연산량이 10^25 FLOP을 넘는 범용 AI 모델을 고영향 능력을 가진 것으로 추정해 더 무거운 의무를 지우는데, Kolibri는 그 기준의 약 16분의 1입니다. 알레프 알파는 EU의 범용 AI 행동강령에 서명했고, 기술 보고서에 저작권과 개인정보 보호를 위해 학습 데이터를 어떻게 걸렀는지 적었습니다.

## 한국에서 쓸 수 있나

한국어는 지원 언어에 없습니다. 모델 카드는 여러 언어 대신 독일어와 영어 둘에 깊이를 택했다고 밝혔고, 미세조정 데이터 풀(3,358억 토큰)의 표본 가운데 92.6%가 영어, 5.0%가 독일어였으며 나머지 언어는 2.4%였습니다. 한국어 성능 수치는 나오지 않았고, 앞서 본 대로 한국어 문자가 독일어·영어 답에 섞여 나오지 않게 학습했습니다.

상업 이용과 설치 조건은 국내 기업에도 그대로 적용됩니다. 아파치 2.0이라 사내 문서 검색이나 독일어 고객 응대에 붙여도 라이선스 비용이 없고, H200 한 장이면 돌아갑니다. 독일어권 고객을 상대하는 국내 제조사나 법무 조직이 사내에 두고 시험할 수 있는 크기입니다. 국내 독자 AI 파운데이션 모델들과 나란히 놓으면 아래와 같습니다.

| 모델 | 만든 곳 | 전체·활성 파라미터 | 라이선스 | 모델 카드의 언어 |
| --- | --- | --- | --- | --- |
| Kolibri | 알레프 알파(독일) | 78B·3.5B | 아파치 2.0 | 독일어·영어 |
| K-EXAONE 2.0 | LG AI연구원 | 750B·37B | 아파치 2.0 | 한국어·영어 등 10개 |
| A.X K2 | SK텔레콤 | 688B·33B | 아파치 2.0 | 영어·한국어 등 5개 |
| Solar Open 2 | 업스테이지 | 250B·15B | 업스테이지 자체 라이선스 | 영어·한국어·일본어 |

국내 모델은 한국어를 지원 언어에 넣고 몸집을 더 키웠습니다. [A.X K2](/post/review-skt-ax-k2-vertical-integration)는 FP8 가중치만 약 647GiB라 80GB GPU 12장 이상이 필요하고, [Solar Open 2](/post/news-upstage-solar-open2-onprem)는 노타AI의 양자화·가지치기판(117.8GB)으로 줄여야 H100 두 장에 올라갑니다. 국내 AI 기본법 시행령 입법예고안(2025년 11월)은 [위험관리 의무를 지는 고성능 AI](/post/review-white-house-accord-ftc-week)의 기준을 학습 연산량 10^26 FLOP으로 잡았는데, Kolibri의 연산량은 그 156분의 1입니다.

LG AI연구원이 7,500억 파라미터 K-엑사원 2.0을 아파치 2.0으로 풀며 상업 이용을 허용한 과정과, 24개 지표 비교를 정리한 글입니다.

## 다음에 나올 것

알레프 알파는 블로그 끝에 규모를 더 키우는 방안을 검토하고 있다고 적었고, 1월 파이프라인을 짜기 시작해 6월 11일 첫 모델 Kolibri Origin의 사전학습을, 9월 11일 Kolibri의 사전학습을 마쳤다고 밝혔습니다. 3개월 만에 파라미터는 300억에서 781억으로, 학습 토큰은 7조 5,000억에서 20조로 늘었습니다. 결합 계약이 마무리되면 회사는 코히어라는 이름으로 움직이고, 그 뒤에 나올 모델의 이름과 라이선스는 아직 발표되지 않았습니다.

읽어 주셔서 고맙습니다.

초이 드림