# "연구소는 제 감시견 못 된다" 4천만 달러 모은 AI 보험 스타트업 AIUC
_Latent Space · 루네 크비스트 · 2026년 9월 16일_
- 매체: 초이의 뉴스레터 · 팟캐스트
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-09-17T10:00
- 링크: https://choi-newsletter.com/post/podcast-latent-space-rune-kvist-aiuc-agent-insurance
- 답하는 질문: AI 에이전트 보험은 어떻게 작동하나
- 직답: AIUC가 에이전트를 수천 번 공격해 인증하면 그 결과로 보험사가 값을 매기며, 일레븐랩스가 첫 보험에 들었습니다.
- 에피소드: Latent Space · https://api.substack.com/feed/podcast/215893904/864d16b5b0e3926d9bbd6c95e3299fa1.mp3
- 출처: Latent Space, Underwriting Superintelligence: Backing Agents you can Sue — Rune Kvist, AIUC (2026-09-16, 전사본 포함) (https://www.latent.space/p/aiuc), YouTube, Latent Space 채널 에피소드 영상 (https://www.youtube.com/watch?v=Sc2_LfWgHb4), 루네 크비스트 X, 5,500만 달러 투자 공지 (2026-09-16) (https://x.com/RuneKvist/status/2100249848264237521), Latent Space X, 에피소드 공지 (2026-09-16) (https://x.com/latentspacepod/status/2100313776113451389), AIUC, Series A to build the confidence infrastructure for frontier AI (2026-09-15) (https://aiuc.com/updates/series-a-announcement), AIUC, ElevenLabs secures first-of-its-kind AI Agent insurance (2026-02-11) (https://aiuc.com/updates/elevenlabs-secures-first-of-its-kind-ai-agent-insurance), AIUC, Cursor achieves AIUC-1 certification (2026-08-12) (https://aiuc.com/updates/cursor-achieves-aiuc-1-certification), AIUC, KPMG LLP Becomes First Big Four Firm with AIUC-1 Certified AI Capability (2026-08-27) (https://aiuc.com/updates/kpmg-llp-becomes-first-big-four-firm-with-aiuc-1-certified-ai-capability), AIUC, Schellman achieves AIUC-1 accreditation (2026-02-03) (https://aiuc.com/updates/schellman-becomes-first-aiuc1-auditor), AIUC, Case study: How Intercom built enterprise trust for customer-facing AI agents (2025-12-10) (https://aiuc.com/updates/case-study-how-intercom-built-enterprise-trust-for-customer-facing-ai-agents), AIUC, Team (창업자 이력) (https://aiuc.com/team), AIUC-1 Consortium (https://www.aiuc-1.com/consortium), BC Civil Resolution Tribunal, Moffatt v. Air Canada, 2024 BCCRT 149 (2024-02-14) (https://decisions.civilresolutionbc.ca/crt/crtd/en/item/525448/index.do), 다리오 아모데이 X, We Must Pace the Frontier 공지 (2026-09-12) (https://x.com/DarioAmodei/status/2098773920774074715), 샘 올트먼 X, 독립 평가자 동의 (2026-09-12) (https://x.com/sama/status/2098811563415150910), 일론 머스크 X (2026-09-12) (https://x.com/elonmusk/status/2098789109980332057), 데이비드 색스 X, 속도 조절 제안에 대한 답 (2026-09-13) (https://x.com/DavidSacks/status/2098973625252708460), 나발 라비칸트 X (2026-09-16) (https://x.com/naval/status/2100233897191903500), 제프리 어빙 X, AIUC 발표 인용 (2026-09-16) (https://x.com/geoffreyirving/status/2100301013169422705), 앤드루 트라스크 X, 상주 평가자 안에 대한 글 (2026-09-13) (https://x.com/iamtrask/status/2099286565130248646), TBPN X, 크비스트의 상호보험 발언 (2026-09-15) (https://x.com/tbpn/status/2099999742336090589)
> AIUC의 루네 크비스트가 9월 16일 Latent Space에서 4,000만 달러 시리즈 A를 알리며, AI 도입을 막는 것은 능력보다 위험과 신뢰라고 말했습니다. 에이전트를 분기마다 수천 번 공격해 인증하고 그 결과로 보험사가 값을 매기는 구조를 설명했습니다.

AI 에이전트를 시험해 인증하고 보험까지 붙여 주는 스타트업 AIUC(Artificial Intelligence Underwriting Company)의 공동창업자 겸 CEO 루네 크비스트(Rune Kvist)가 9월 16일(미국 시각) 공개된 Latent Space에 나와 4,000만 달러 시리즈 A를 알렸습니다. 앤트로픽의 첫 제품 담당 채용자였던 그는 AI 도입을 막는 것이 능력보다 위험과 신뢰라고 말하고, 표준과 감사, 보험을 묶어 기업이 에이전트를 믿고 쓰게 만드는 구조를 1시간 26분 동안 설명했습니다. AGI가 온 뒤에도 연구소가 스스로 할 수 없는 일이 하나 있는데, 자기 자신의 감시견이 되는 일이라는 것이 그의 결론이었습니다.

크비스트는 에피소드가 나온 날 X에 투자 소식을 올리며 구조를 짧게 적었습니다. 보험사는 위험에 값을 매기려면 감사가 필요하고, 값을 가장 정확히 매기게 해 줄 감사인을 스스로 고르며, 감사를 틀리면 망하기 때문에 대중과 이해관계가 같다는 겁니다. 연구소가 자기 감사인을 고르는 지금 방식이 불신을 낳는다는 문장도 있습니다. 일레븐랩스가 세계 첫 에이전트 보험에 들 때 로이즈 오브 런던의 한 보험사가 보험사 쪽이 고른 감사인의 분기별 기술 감사를 조건으로 걸었다는 사례와, 몇 주 안에 프런티어 AI의 재난 위험을 계산하는 보험계리 모델을 오픈소스로 내겠다는 계획이 뒤따랐습니다.

AIUC가 발표한 투자는 리빗 캐피털이 이끌고 퍼스트 하모닉과 테레인이 참여한 4,000만 달러입니다. 냇 프리드먼과 대니얼 그로스(NFDG)에게 받은 시드 1,500만 달러를 더하면 누적 5,500만 달러이고, 돈은 감사와 표준, 보험을 에이전트에서 프런티어 모델로 넓히는 데 쓴다고 밝혔습니다.

## 감사를 받겠다는 연구소, 감사인은 누가 고르나

AIUC 발표문의 첫 문장은 샘 올트먼과 다리오 아모데이, 일론 머스크가 모두 프런티어 AI 감사를 요구했다는 말이었고, 세 사람의 X 게시물로 이어지는 링크가 걸려 있습니다. 9월 12일 아모데이는 에세이 「We Must Pace the Frontier」에서 [외부 평가자에게 직원 수준의 상시 접근권을 주겠다고 약속했고](/post/review-dario-slowdown-and-the-backlash), 같은 날 머스크와 올트먼이 차례로 동의했습니다. 9월 12일부터 16일까지 나온 말을 날짜순으로 놓으면 이렇습니다.

| 날짜(미국 시각) | 누가 | 한 말 |
| --- | --- | --- |
| 9월 12일 | 다리오 아모데이 | 외부 평가자에게 직원 수준의 상시 접근권을 주겠다 |
| 9월 12일 | 일론 머스크 | 다리오가 옳다 |
| 9월 12일 | 샘 올트먼 | 독립 평가자를 두는 약속은 좋은 생각이고 우리도 하겠다 |
| 9월 13일 | 데이비드 색스 | METR이 앤트로픽 투자자·직원과 얽혀 있는데 독립적인 척하지 말라 |
| 9월 16일 | 나발 라비칸트 | 속도를 조절하는 최선의 방법은 모델의 행동에 연구소가 전면 책임을 지게 하는 것 |

대통령과학기술자문위원회 공동의장인 색스는 같은 글에서, 연구소가 속도를 늦추려는 데에는 파괴적인 사이버 공격을 가능하게 한 제품에 대한 막대한 제조물 책임 부담도 있다고 적었습니다. 평가자를 누가 고르느냐는 물음은 AIUC에도 돌아옵니다. 크비스트는 앤트로픽의 첫 제품 담당 채용자였고, 공동창업자 라지브 다타니는 맥킨지 보험 파트너를 지낸 METR 이사입니다. 크비스트는 방송에서 다타니가 METR의 최고운영책임자로 앤트로픽·오픈AI 모델의 출시 전 시험 협력을 이끌었다고 소개했습니다.

## 웨이모는 왜 공항에 못 가나

크비스트는 2021년 말 첫 회사인 교육 기술 회사를 판 뒤 카플란의 스케일링 법칙 논문을 읽고 번개를 맞은 듯했다고 했습니다. 돈을 넣을수록 더 나은 모델이 나온다면 자본이 이 기술을 알아볼 거라는 생각에 샌프란시스코로 건너가, 직원이 40명 안팎이던 2022년 초 앤트로픽에 합류했습니다. 당시 앤트로픽에는 2026년의 세계를 그린 비전 문서가 있어 필요한 연산과 설비투자, 사회적 우려까지 자세히 적혀 있었다고 했습니다.

그가 AIUC를 세운 계기로 든 것은 앤트로픽 사무실 창밖을 지나던 웨이모입니다. 2022년 초에도 이미 사람보다 운전을 잘했는데, 그의 말로는 4년이 지난 지금도 웨이모를 타고 공항에 갈 수 없습니다. 쓰임을 막는 것은 능력보다 책임과 위험, 신뢰이고, 이 문제는 AI가 똑똑해질수록 커진다는 것이 그의 진단입니다. 더 똑똑한 AI는 더 자율적으로 움직일 수 있어 가치가 크지만, 위험이 생길 수 있는 범위도 함께 넓어진다는 이유입니다.

그는 Fable도 같은 예로 들었습니다. Fable이 지금 열려 있지 않은 이유는 아주 좋은 모델이기 때문이고, 무엇을 하고 무엇을 하지 않을지 약속하기 어렵다는 겁니다. 방송에서 그는 다음 표준 개정일을 7월 15일로 말했는데, 앤트로픽의 Fable 5는 아마존 연구진이 안전장치를 우회한 보고서가 나온 뒤 6월 12일부터 30일까지 [미국 수출통제로 모든 고객에게서 내려가 있었습니다](/post/news-fable5-mythos5-export-control-lifted). 그 무렵 백악관이 SK텔레콤의 Mythos 접근을 거두라고 요구했다는 WIRED 보도도 나왔습니다.

크비스트는 이 일을 정부와 연구소 사이의 신뢰 격차가 드러난 사례로 봤습니다. 정부는 위험이 있다는 말을 들었지만 크기를 가늠하기 어려웠고, 앤트로픽은 어떤 모델이든 탈옥될 수 있다고 설명해야 했다는 해석입니다. 앤트로픽은 재개 무렵 낸 글에서 같은 과제를 다른 모델에 시켜 보니 Opus 4.8과 GPT-5.5, Kimi K2.7도 같은 취약점을 찾았다고 밝혔습니다.

역사에서 찾은 답은 표준과 보험의 짝입니다. 1900년 무렵 전기가 들어오며 집이 불탔고 1930년대 자동차와 1950년대 민간 원자력도 큰 위험을 안고 왔지만, 그때마다 시장이 규제보다 먼저 표준과 보험으로 도입에 필요한 확신을 만들었다는 설명입니다. 표준은 무엇을 시험할지 정해 위험의 크기를 드러내고, 보험사는 사고가 나면 돈을 내는 쪽이라 위험을 가장 정직하게 재고 줄이려 한다고 했습니다. 회사 이름도 전기 제품 화재를 줄이려고 보험사들이 돈을 댄 시험 기관 UL(Underwriters Laboratories)에서 따왔습니다.

## 분기마다 수천 번 공격하는 인증

AIUC-1은 보안, 안전, 신뢰성, 책임성, 데이터·개인정보, 사회적 영향의 여섯 영역으로 짠 에이전트 표준입니다. 크비스트는 요구 사항을 세 종류로 나눴습니다. 근거 확인 필터 같은 안전장치를 갖췄는지 보는 기술 통제, 제3자가 실제로 공격해 보는 시험 통제, 사고가 나면 책임질 사람의 이름과 고객 통보 절차를 정해 두는 정책 통제입니다. 안전장치가 있는지는 셸먼 같은 감사 회사가 증거로 확인하고, 그 장치가 실제로 막는지는 AIUC가 직접 시험합니다.

시험은 탈옥과 환각, 데이터 유출을 겨냥한 모의 공격을 수천 번 돌리는 방식입니다. AIUC는 업종마다 다른 위험·공격 조합 5,000개를 쓴다고 밝혔고, 인증에는 3~10주가 걸리며 통과하지 못한 항목은 고친 뒤 다시 시험합니다. 인증은 1년 유지되고 분기마다 재시험을 받습니다. 표준도 분기마다 고치는데, 보통 10년 주기로 바뀌는 보안 표준으로는 3개월 전과 다른 AI 위험을 따라가지 못한다는 이유입니다. 개정안은 대기업 위험 책임자들로 꾸린 컨소시엄과 분기에 두 번 만나 정한다고 했습니다.

크비스트가 가장 자주 본 약점은 적대적 상황을 가정한 시험을 제대로 해 보지 않은 것이었습니다. 대부분 회사가 평균적인 경우의 품질을 다듬는 데 시간을 쓰고, 상대가 공격해 올 때를 따져 보지 않았다는 겁니다. 의료 조언을 걸러 내는 분류기는 많은 회사가 달아 두지만, 의료 조언을 끌어내는 온갖 우회 표현을 연구 문헌까지 뒤져 시험해 보면 제대로 막지 못하는 경우가 많다고 했습니다.

| 날짜 | 회사 | 내용 |
| --- | --- | --- |
| 2025년 12월 10일 | 인터콤(Fin) | 통제 50개 이상 감사, 분기마다 1,000개 넘는 시나리오 시험 |
| 2026년 2월 3일 | 셸먼 | 첫 AIUC-1 공인 감사 회사 |
| 2026년 2월 11일 | 일레븐랩스 | AIUC-1 인증을 바탕으로 한 첫 AI 에이전트 보험 |
| 2026년 8월 12일 | Cursor | 두 차례 수천 건 평가, 위험 범주 12개 |
| 2026년 8월 27일 | KPMG | 빅4 첫 인증, 기술 시험 900건 이상 |
| 2026년 9월 15일 | AIUC | 4,000만 달러 시리즈 A, 누적 5,500만 달러 |

컨소시엄도 빠르게 커졌습니다. 2월 셸먼 발표 때 60여 명이던 참여자는 8월 KPMG 발표 때 250명을 넘었고, Latent Space 쇼노트에 실린 컨소시엄 페이지에는 276명이 올라 있습니다. 구글 클라우드와 골드만삭스의 최고정보보호책임자를 지낸 필 베너블스, 미국 사이버보안·기반시설안보국(CISA) 국장을 지낸 젠 이스털리도 명단에 있습니다. 크비스트는 올해 말이면 포천 1000대 기업의 절반이 컨소시엄에 대표를 둘 수도 있다고 내다봤습니다.

## 보험은 무엇을 물어 주나

AI 보험 수요는 주로 AI를 만든 회사와 사는 회사 사이에 있습니다. 크비스트는 보험사가 이 거래에 들어오는 이유를 신뢰에서 찾았습니다. 사고가 나면 돈을 내는 보험사가 보험을 써 준다는 것 자체가 위험이 관리할 만하다는 신호라는 겁니다. 웨이모가 샌프란시스코에서 첫 운행 허가를 받을 때 구글이 돈을 낼 수 없어서도 아닌데 여러 보험사를 모아 큰 보험을 쌓은 것도, 믿을 만한 제3자가 자료를 들여다봤다는 사실이 값졌기 때문이라고 했습니다.

일레븐랩스의 보험이 첫 사례입니다. 일레븐랩스 발표에 따르면 이 회사의 음성 에이전트는 전 세계 기업에 300만 개 넘게 배포돼 있고, AIUC-1 인증에서 5,000번 넘는 적대적 모의 시험을 거친 뒤 에이전트가 고객에게 틀린 정보를 주는 것 같은 위험을 보험으로 보장받게 됐습니다. 크비스트는 로이즈가 AIUC-1을 보험 인수 기준으로 쓰고, AIUC의 평가 결과가 보험료 산정에 바로 들어간다고 설명했습니다. 재무적 위험은 대부분 보험사가 지고 AIUC는 값을 매기는 대가로 보험료 일부를 받습니다. 자본 비용이 낮고 주택·자동차 보험으로 위험을 나눠 둔 기존 보험사와 자본으로 겨룰 이유가 없다는 판단입니다.

그는 사이버 보험에서 얻은 교훈도 들었습니다. 사이버 보험 시장이 잘 굴러가지 않은 것은 보험과 기술 전문성이 따로 놀았기 때문이고, 그래서 표준이 보험보다 먼저 가야 한다는 겁니다. 한데 방송 시점까지 AIUC가 관여한 보험에 청구된 보험금은 한 건도 없었습니다.

진행자 swyx는 월 20달러짜리 Cursor 구독으로 바이브 코딩한 프로그램이 비행기 사고를 내 2억 달러 피해가 나면 20달러를 청구하느냐, 2억 달러를 청구하느냐고 물었습니다. 크비스트는 보험에는 한도가 있어 2억 달러를 받으려면 누군가 그만큼의 보장을 미리 샀어야 하고, 처음의 모호함은 법정에서 판례로 정리된다고 답했습니다. 그가 든 판례는 에어캐나다 사건입니다. 2024년 2월 캐나다 브리티시컬럼비아주 민사분쟁심판소는 에어캐나다 웹사이트의 챗봇이 유족 할인 요금을 나중에 소급해 신청할 수 있다고 잘못 안내한 사건에서, 챗봇이 스스로 책임지는 별개의 법적 존재라는 회사 주장을 「놀라운 주장」이라며 물리치고 812.02캐나다달러를 물어 주라고 결정했습니다.

크비스트는 이런 판례가 쌓이며 책임이 분명해지고, 과실을 따질 때 법원이 널리 쓰이는 표준을 주의 의무의 기준으로 삼는다고 했습니다. 근거 확인 필터나 탈옥 필터를 두라는 표준이 퍼지면 그런 장치가 있는 줄 몰랐다고 말하기 어려워진다는 겁니다. 보험이 잘 안 되는 위험으로는 저작권을 꼽았습니다. 저작권 침해 보험을 가장 원하는 쪽이 저작물로 학습했다는 것을 가장 잘 아는 쪽이라, 가입 신청 자체가 보험사에는 위험 신호가 되는 역선택 문제가 생긴다는 설명입니다.

## 감시견은 누가 감시하나

크비스트는 모델 단계의 위험을 두고 정부와 연구소 사이에 신뢰 격차가 있다고 했습니다. 정부는 새로운 위험을 평생 연구해 온 조직이 아니고, 연구소는 기술을 가장 잘 알지만 늘 진실을 말할 유인이 있지는 않다는 겁니다.

> 사람들이 스스로를 감사하게 두는 산업은 다른 어디에도 없습니다.
> — 루네 크비스트, AIUC 공동창업자 (Latent Space)

그가 그린 해법은 채권에 등급을 매기는 무디스 같은 중립 중개자입니다. 정부가 직접 전문가를 수천 명 두는 대신 믿을 만한 제3자의 평가를 가리키면 된다는 것이고, 미국 상무부의 AI 표준·혁신 센터(CAISI)가 그런 역할로 만들어졌지만 과제에 비해 예산이 아주 작다고 했습니다. CAISI는 7월 [Fable 5 재개 전 새 안전장치를 시험한 기관](/post/news-anthropic-fable5-cyber-safeguards)이기도 합니다.

swyx는 영화 「빅쇼트」의 한 대목으로 반박했습니다. 무디스가 AAA를 주지 않으면 발행사는 S&P로 가 버리니, 감시견끼리 경쟁하면 기준이 바닥으로 내려간다는 겁니다. 크비스트는 그래서 보험사가 필요하다고 답했습니다. 보험사는 값을 낮게 매기면 그 청구서를 자기가 내니 기준을 깎을 유인이 없고, 무디스는 틀린 등급의 비용을 직접 치르지 않는다는 차이입니다. 다만 완벽한 체계는 없어서 감시견도 감시받아야 한다고 덧붙였습니다.

같은 주에 나온 다른 시각도 있습니다. 딥마인드와 오픈AI, 영국 AI보안연구소를 거친 제프리 어빙은 크비스트의 발표를 인용하며 재난 위험을 가격 신호로 옮기려는 시도를 반겼지만, 그 번역이 가능할지는 불분명하다고 적었습니다. 최근의 경고 사건들은 통제 상실에도 보험에 쓸 만한 전조가 있을 수 있다는 증거라는 말을 덧붙였습니다. 오픈마인드의 앤드루 트라스크는 아모데이의 상주 평가자 안을 두고 2026년 문제에 내놓은 1960년대식 해법이지만 출발점은 된다고 했습니다.

크비스트는 AGI가 와도 자기 사업은 달라지지 않는다고 했습니다. 연구소는 모두 일이 잘되기를 바라지만 경쟁 속에서 비용을 아끼고 정부에 정보를 덜 줄 유인이 있어, 독립된 제3자가 자료를 들여다보고 정부와 공유하는 일은 늘 필요하다는 겁니다. 그가 예외로 든 경우는 AGI가 주권의 위협으로 여겨져 국유화되는 상황뿐이었습니다.

> 연구소가 스스로 해낼 수 없는 일이 하나 있는데, 바로 자기 자신의 감시견이 되는 일입니다.
> — 루네 크비스트, AIUC 공동창업자 (Latent Space)

## 다음은 모델과 로봇

크비스트가 그린 순서는 에이전트, 모델, 로봇입니다. 웨이모가 개 한 마리를 쳐도 사람들이 들끓는데, 로봇이 식탁 위 아기를 처음 떨어뜨리면 엄격한 책임이 따라올 거라고 했습니다. 에이전트끼리 사람을 거치지 않고 거래하는 시대에는 상대가 잘못하면 돈을 돌려받을 수 있도록 에이전트마다 지속되는 대차대조표가 붙어 있어야 한다는 말도 했고, 에피소드 제목의 「소송할 수 있는 에이전트」가 여기서 나왔습니다.

에피소드 공개 전날 TBPN에 나온 크비스트는 원자력 발전소 운영사들이 상호보험으로 서로의 안전을 감시하듯 AI 연구소도 같은 방식을 쓸 수 있다고 했습니다. AIG 같은 보험사가 10조 달러를 내놓기까지는 오래 걸리겠지만 연구소들은 이미 시가총액 전체를 걸고 있다는 설명입니다. AIUC가 약속한 프런티어 AI 재난 위험 보험계리 모델이 공개되면, 에이전트에서 시작한 감사와 보험이 모델 단계로 넘어갈 수 있을지를 숫자로 따져 볼 수 있습니다.

읽어 주셔서 고맙습니다.

초이 드림