# 행동 판정만 하는 Span-01, 100만 토큰 0.02달러에 F1 0.843
_Respan이 9월 24일 행동 판정 전용 모델 Span-01을 공개했습니다. 전체 F1은 0.843으로 2위와 0.006 차이이고, 같은 발표문의 영역별 표에서는 GPT-6 Sol이 0.885로 더 높습니다._
- 매체: 초이의 뉴스레터 · 아티클
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-09-28
- 링크: https://choi-newsletter.com/post/review-span1-behavior-evaluation
- 답하는 질문: Span-01 가격과 행동 판정 성능
- 직답: 입력 100만 토큰당 0.02달러이고, 공개 평가의 전체 F1은 0.843으로 2위 모델과 0.006 차이입니다.
- 출처: Respan, Span-01: The First Hyper-Parallel Reasoning Classifier Built for Unseen Challenges (2026-09-24) (https://www.respan.ai/blog/introducing-span-1), Respan X 공지 (9월 25일) (https://x.com/RespanAI/status/2103530005720637860), Respan 문서, Span-01 퀵스타트 (https://www.respan.ai/docs/documentation/span-01/quickstart), Respan API 문서, Run Span-01 (https://www.respan.ai/docs/apis/respan-models/score-span-behaviors), Hugging Face, respanai/behavior-benchmark (v1.0.0, 2026-09-22) (https://huggingface.co/datasets/respanai/behavior-benchmark), Respan 문서, 게이트웨이 가드레일 (https://www.respan.ai/docs/documentation/features/gateway/guardrails)
> Respan이 9월 24일 행동 판정 전용 모델 Span-01과 공개 평가 자료를 냈습니다. 입력 100만 토큰당 0.02달러에 전체 F1 0.843이고, 평가의 라벨은 프런티어 모델 두 개의 합의로 만들어졌습니다.

에이전트 관측 도구를 만드는 Respan이 9월 24일(미국 시각) 행동 판정 전용 모델 Span-01과 공개 평가 자료를 냈습니다. 대화나 실행 기록에 「사용자가 환불을 요구했다」처럼 사람 말로 적은 행동 정의를 함께 넣으면, 있음·없음·관측 불가 세 가지 확률을 한 번의 계산으로 돌려줍니다. 가격은 입력 100만 토큰당 0.02달러이고 출력은 무료, 가벼운 Lite 모델은 입력까지 무료입니다.

회사는 X 공지에서 Jev보다 2배 싸고 18% 낫고, GPT-6 Luna보다 700배 싸고 4% 낫다고 적었습니다. 함께 올린 도표의 전체 F1은 Span-01 0.843, GPT-5.6 Terra 0.837, GPT-6 Luna 0.815, DeepSeek V4 Flash 0.814, Span-01 Lite 0.761, Sonnet 5 0.717, Jev 0.715, Qwen3 235B 0.678 순입니다. 18%와 4%는 모두 상대값이고, 1위와 2위의 실제 간격은 0.006입니다.

| 모델 | 전체 F1 |
| --- | --- |
| Span-01 | 0.843 |
| GPT-5.6 Terra | 0.837 |
| GPT-6 Luna | 0.815 |
| DeepSeek V4 Flash | 0.814 |
| Span-01 Lite | 0.761 |
| Sonnet 5 | 0.717 |
| Jev 1.13.0 | 0.715 |
| Qwen3 235B | 0.678 |
| Laya | 0.223 |
| Raindrop | 0.154 |

표기부터 정리하고 갑니다. 발표문과 API 모델 이름은 Span-01이고, 발표 영상과 글 주소에는 Span-1로도 적혀 있습니다. 회사는 Keywords AI에서 Respan으로 이름을 바꾼 와이콤비네이터 출신 관측 도구 회사입니다.

## 판정만 하는 모델을 따로 만든 이유

상담 기록을 읽고 「사용자가 환불을 요청했다」가 맞는지 고르는 작업은, 새 답을 길게 지어내는 작업과 계산 구조가 다릅니다. Respan은 이 작업에서 토큰을 하나씩 생성하지 않고 한 번의 순전파로 확률만 돌려주는 모델을 만들었습니다. 먼저 AI 피드백 강화학습으로 일반적인 분류 추론을 가르치고, 그다음 행동 탐지에 맞춰 특화했다는 설명입니다. 추론할 때는 여러 행동 정의를 가지로 갈라 같은 기록 위에서 한꺼번에 판정합니다.

![Respan이 발표문에 올린 소개 영상의 표지 화면. 손으로 그린 듯한 캐릭터 옆에 SNAP! Span-1이라는 글자와 '패턴을 읽고 끊어진 곳을 찾는다'는 자막이 있습니다](https://www.respan.ai/blog/respan-span-poster-no-size.jpg)

쓰는 쪽에서 보면 호출 한 번의 모양이 이렇습니다. 앞선 대화를 input에, 판정할 차례를 output에 넣고, 행동마다 id와 사람 말로 적은 정의를 붙입니다. 문서의 예시는 「사용자가 사람 상담원을 원하거나 상담 모델이 사람에게 넘겨야 한다고 말한 경우」를 정의로 주고 p_present 0.73을 받습니다. 한 요청에 담을 수 있는 행동 수에는 상한이 없고, 정의 글자도 입력 토큰에 포함됩니다.

## 세 번째 답을 돌려주는 설계

이 모델이 돌려주는 값은 세 가지입니다. 있음과 없음에 더해, 주어진 기록만으로는 판단할 수 없다는 확률이 따로 나옵니다. 세 값을 더하면 대략 1이 됩니다.

상담 기록에 환불 완료라는 말이 없다고 환불이 실패했다고 적으면 틀릴 수 있습니다. 결과가 결제 시스템 로그에만 있을 수 있고, 반대로 상담 모델이 처리했다고 말해도 실제 거래가 끝났는지는 기록에 없습니다. 모르는 값을 없음으로 접어 버리면 그 확신이 대시보드와 자동 처리로 그대로 넘어갑니다. 세 번째 값은 그 구간을 따로 담아 두는 그릇입니다.

한데 공개 데이터셋을 열어 보면 이 값의 비중이 작습니다. 라벨 분포는 없음 87.6%, 있음 10.4%, 관측 불가 2.0%입니다. 데이터셋 카드는 교사 모델이 길이를 줄인 기록을 보고 라벨을 붙였기 때문에, 관측 불가로 찍힌 것 중 일부는 전체 기록을 보면 판단할 수 있었을 것이라고 적었습니다. 제품이 내세우는 세 번째 답이 정작 시험에서는 가장 적게 등장하는 답입니다.

## 라벨을 만든 쪽이 프런티어 모델입니다

Respan은 평가 자료를 허깅페이스에 공개했습니다. 9월 22일 올라온 v1.0.0에는 실행 기록 1,990건과 기록·행동 짝 34,885개가 들어 있고, 영어 묶음이 기록 1,475건에 26,495행, 다국어 묶음이 515건에 8,390행입니다. 언어는 한국어를 포함해 19개입니다.

라벨이 어디서 왔는지가 이 자료를 읽는 조건입니다. 카드에 적힌 방법은 세 가지입니다.

| 라벨을 정한 방법 | 영어 묶음 | 다국어 묶음 |
| --- | --- | --- |
| 교사 모델 둘(GPT-5.6 Sol, Claude Opus 5)이 같은 답을 낸 경우 | 24,074행 | 5,541행(동점 처리 포함) |
| 교사가 갈린 경우 GPT-6 Astra가 결정 | 2,421행 | 위 수치에 포함 |
| 기록을 만든 방식으로 정해진 경우 | | 2,851행 |

카드는 이 라벨이 정답이 아니며 모델이 매긴 판정이라고 못 박았습니다. 라벨 제작에 참여한 GPT-5.6 Sol, Claude Opus 5, GPT-6 Astra, Claude Opus 5.5는 이 시험에서 공정하게 평가될 수 없다고도 적었습니다. 발표문 표에 오른 비교 대상은 그 넷에 들어 있지 않습니다. 다수결에 끼지 못한 행은 버렸고, 교사와 같은 계열 모델은 유리할 수 있다는 단서도 붙었습니다.

행동의 종류도 적혀 있습니다. 에이전트의 진행 방식과 도구 사용, 말투, 사용자와 상담 모델의 의미, 지연 시간과 토큰과 비용 같은 수치, 기록 사이의 관계, 근거, 언어까지 묶여 있습니다. 기록마다 붙은 메타데이터에 모델 이름과 종료 사유, 지연 시간, 토큰 수, 비용이 들어 있어서 「응답이 10초를 넘겼다」 같은 조건도 같은 방식으로 판정 대상이 됩니다. 반대로 부정형이나 누락형 행동은 이번 자료에 들어 있지 않다고 카드가 밝혔습니다.

점수를 읽는 방법도 카드가 지정해 두었습니다. 있음에 대한 F1을 영어와 다국어로 나눠 보고하고, 신뢰 구간은 행 단위 대신 기록 단위로 다시 뽑으라는 내용입니다. 없음이 87.6%인 자료에서 전체 정확도를 쓰면 아무것도 찾지 않는 모델이 높은 점수를 받기 때문입니다.

## 같은 발표문 안에서 가장 높은 점수

Respan은 운영에서 실제로 보는 행동을 영역별로 나눈 표도 함께 냈습니다. 여기서는 전용 모델과 큰 모델의 차이가 다르게 보입니다.

| 영역 | Span-01 | Jev | Sonnet 5 | GPT-6 Sol |
| --- | --- | --- | --- | --- |
| 탈옥과 프롬프트 주입 | 0.779 | 0.752 | 0.709 | 0.878 |
| 안전과 거절 | 0.803 | 0.751 | 0.785 | 0.911 |
| 개인정보와 비밀 | 1.000 | 0.948 | 0.901 | 0.935 |
| 환각과 근거 | 0.796 | 0.673 | 0.756 | 0.903 |
| 에이전트와 도구 신뢰성 | 0.845 | 0.691 | 0.677 | 0.861 |
| 과제와 지시 따르기 | 0.702 | 0.671 | 0.621 | 0.821 |
| 응답 품질 | 0.771 | 0.691 | 0.722 | 0.956 |
| 전체 | 0.806 | 0.716 | 0.719 | 0.885 |

Span-01은 Jev와 Sonnet 5를 일곱 영역에서 모두 앞섭니다. 같은 표에서 GPT-6 Sol은 개인정보 한 영역만 빼고 전부 더 높고, 전체도 0.885로 0.806보다 높습니다. 발표문도 완전한 프런티어 모델이 여전히 가장 높다고 적었습니다.

> 이제 LLM 판정을 치울 때입니다.
> — Respan 발표문

발표문의 이 문장과 표의 0.885는 같은 페이지에 있습니다. 정확도가 가장 중요한 검사라면 큰 모델이 여전히 위에 있고, 전용 모델이 바꾸는 것은 검사를 얼마나 자주 돌릴 수 있느냐입니다.

## 0.02달러가 바꾸는 것은 검사 빈도입니다

가격표는 두 줄입니다. Span-01 Lite는 입력도 출력도 무료이고, Span-01은 입력 100만 토큰당 0.02달러에 출력이 무료입니다. 과금 대상은 기록과 행동 정의를 합친 입력 토큰입니다.

| 항목 | 값 |
| --- | --- |
| Span-01 Lite | 무료(API 모델 이름 span-01-free) |
| Span-01 | 입력 100만 토큰당 0.02달러, 출력 무료(span-01-pro) |
| 과금 기준 | 기록과 모든 행동 정의를 합친 입력 토큰 |
| 한 요청의 행동 수 | 상한 없음 |

행동을 한꺼번에 재는 설계가 가격과 맞물립니다. 큰 모델에 판정을 맡기면 행동마다 호출을 따로 보내게 되고, 그때마다 같은 기록을 다시 입력에 넣습니다. 행동이 10가지면 기록 토큰도 10번 들어갑니다. 한 번의 순전파로 정의 10개를 함께 보는 쪽은 기록을 한 번만 넣고 정의 글자만 더해집니다.

숫자를 맞춰 보면 단가가 어느 정도인지 바로 나옵니다. 1,000토큰짜리 대화 한 건에 행동 정의 10개를 붙여 300토큰이 더해지면 입력은 1,300토큰이고, 비용은 0.0001달러에 못 미칩니다. 7월에 아폴로 리서치의 감시자 비교를 다루면서 적었던 숫자와 견주면 단위가 다릅니다. 그때 기록 한 건을 채점하는 비용은 Gemini 3 Flash 약 0.04달러, Sonnet 5 약 0.19달러, Opus 4.8 약 0.42달러였습니다.

같은 발표문의 각주에도 비용을 다룬 대목이 있습니다. 경쟁 제품 Raindrop을 비교할 때 1,000토큰당 0.003달러로 환산했다고 적었고, 이는 100만 토큰당 3달러입니다. 그러면서 월 299달러의 기본료는 비용 축에서 뺐다고 밝혔습니다. 기본료를 내는 팀의 실제 지출은 이 그림보다 큽니다.

## 판정 비용은 어디서 불어나나

판정 비용은 에이전트를 한 번 돌릴 때마다 따라붙는 고정비입니다. 기록 길이에 행동 수를 곱하고 다시 검사 빈도를 곱하면 청구서가 나옵니다. 세 값 가운데 아무거나 하나를 줄이면 비용이 내려가는데, 보통 가장 먼저 줄이는 것이 빈도입니다. 전체 대화의 일부만 뽑아 검사하는 방식입니다.

그런데 찾으려는 행동은 대체로 드뭅니다. Respan이 공개한 자료에서 있음 라벨은 10.4%이고, 기록만으로 판단이 안 되는 경우가 2.0%입니다. 1%짜리 사고를 표본 검사로 잡으려면 표본을 크게 잡아야 하고, 표본을 키우면 다시 비용으로 돌아옵니다. 단가를 100만 토큰당 0.02달러로 내리는 제품이 노리는 쓰임이 여기에 있습니다.

실무에서 쓰는 구성은 두 단계입니다. 싼 모델로 전부 보고, 걸린 것만 비싼 모델로 다시 봅니다. 이번 발표의 숫자를 그 구성에 넣으면 1단계는 무료인 Span-01 Lite(전체 F1 0.761)나 Span-01(0.843), 2단계는 영역별 표에서 가장 높은 GPT-6 Sol(0.885)이 됩니다. 어느 단계에 무엇을 둘지는 놓쳤을 때 치르는 비용으로 갈립니다.

## 자주 검사한다고 실패가 줄지는 않습니다

7월에 아폴로 리서치는 감시자 후보 16개 모델에게 같은 작업 기록을 채점하게 했고, 같은 기록에 8점과 2점이 함께 나왔습니다. 10점 척도에서 6점 차이면 통과와 차단이 갈립니다. 그 비교를 다룬 [감시자 16개의 채점 폭](/post/review-apollo-coding-agent-monitor)에서 짚은 운영 문제는 기준 점수였습니다. 모델을 바꾸면 점수 분포가 달라져 같은 기준이 다른 기준으로 작동합니다.

Span-01은 점수 대신 확률 세 개를 돌려주고, 어느 확률부터 사람을 부를지는 쓰는 쪽이 정합니다. 기준을 다시 맞추는 문제는 그대로 남습니다. 모델을 바꾸거나 행동 정의를 손볼 때마다 과거 기록 묶음을 다시 채점해 분포를 보는 작업이 따라붙습니다. 검사가 싸지면 검사 횟수가 늘고, 늘어난 결과를 받아 기준과 평가 자료를 고치는 경로가 없으면 대시보드만 두꺼워집니다.

이 모델이 들어가는 제품 쪽도 같은 방향입니다. Respan 문서를 보면 게이트웨이의 가드레일이 span-01 위에 올라가 있고 게이트웨이와 함께 무료로 제공됩니다. 프롬프트 주입과 탈옥, 시스템 프롬프트 유출, 위험한 내용을 모델과 도구에 닿기 전에 거르는 용도입니다. 관측 제품 쪽에는 거절과 지시 누락, 과제 완료 같은 행동을 모든 기록에 표시하는 기능이 따로 있습니다. 사후 분석용으로 쓰던 판정이 실행 경로 앞으로 옮겨 가는 구성입니다.

같은 작업 기록에 8점과 2점이 나왔고, 채점 1건 비용은 모델에 따라 10배 차이가 났습니다.

## 판정 모델을 판정한 표

발표문에는 Span-01이 다른 판정 모델 11개를 거꾸로 채점한 표도 있습니다. Span-01은 이 순위에 들어가지 않고 채점만 했습니다.

| 모델 | 정확도 | 같은 뜻 입력에서 답이 뒤집힌 비율 | 프롬프트 주입 성공률 | 보정 오차 |
| --- | --- | --- | --- | --- |
| Jev 1.13.0 | 0.932 | 0.021 | 0.063 | 0.045 |
| Tev1 4B | 0.901 | 0.052 | 0.042 | 0.031 |
| Kev 4B | 0.833 | 0.060 | 0.078 | 0.070 |
| 마피카 Decider 2B v10 | 0.747 | 0.128 | 0.208 | 0.074 |
| Bosun v3.1 1.7B | 0.680 | 0.208 | 0.323 | 0.089 |
| Laya | 0.542 | 0.298 | 0.396 | 0.092 |
| Von 1.2 | 0.422 | 0.242 | 0.297 | 0.071 |

주입 성공률은 판정을 속이려고 넣은 문장이 통한 비율입니다. 상위 모델은 0.042에서 0.078이고, 아래쪽은 0.2에서 0.4 사이입니다. 감시에 쓰는 모델도 검사 대상과 같은 공격을 받는다는 측정이고, 뒤집힌 비율 0.3에 가까운 모델을 경보 기준에 쓰면 같은 기록이 날마다 다른 결과를 냅니다. 이 표의 채점자가 Span-01이라는 점은 표를 읽는 조건으로 남습니다.

## 국내 서비스에 옮길 때 걸리는 것

한국어는 데이터셋의 19개 언어 목록에 들어 있습니다. 다만 다국어 묶음 전체가 기록 515건이라 한국어로 된 기록은 그중 일부이고, 그 라벨도 교사 모델이 붙인 값입니다. 반어법이나 인용, 지난 대화를 끌어오는 문장이 섞인 한국어 상담 기록에서 같은 점수가 나오는지는 자사 기록으로 다시 재 봐야 알 수 있습니다.

운영 조건도 미리 볼 대목이 있습니다. API 문서에는 조직에 Span-01 접근이 열려 있지 않으면 403으로 막힌다고 적혀 있고, 유료 모델은 크레딧이 모자라면 402가 돌아옵니다. 무료 모델에는 하루 한도가 있어 한도에 걸리면 세계 표준시 0시까지 기다리거나 유료 모델로 넘어가야 합니다. 기록이 너무 길면 요청 자체가 거절되고, 세 글자보다 짧은 행동 정의도 거절됩니다.

개인정보를 다루는 조건도 함께 봅니다. 상담 기록을 외부 API로 보내는 일이고, 공개 데이터셋 카드도 원본 자료에 개인정보나 가짜 자격 증명, 만료된 서명 주소가 남아 있을 수 있다고 경고했습니다. 사내 기록으로 평가 자료를 만들 때 같은 점검이 필요합니다.

## 다음에 확인할 것

Respan은 Span-01의 파라미터 수와 지연 시간을 공개하지 않았습니다. 평가 자료가 공개돼 있으니 제3자가 같은 묶음으로 다시 재면 0.843과 0.885의 간격이 얼마나 유지되는지 확인됩니다. 게이트웨이 가드레일에 이 모델이 무료로 붙는다고 문서에 적혀 있어, 판정 비용이 0에 가까워진 뒤 검사 횟수가 실제로 얼마나 늘어나는지가 다음에 볼 숫자입니다.

읽어 주셔서 고맙습니다.

초이 드림