# Exa Agent Ultra가 WANDR에서 81.4%, 채점은 Exa가 했습니다
_회사 표에서 WANDR 81.4%, Opus 5.5는 72.3%이고 과제당 비용은 절반이라고 적혔습니다. 채점에는 Exa의 수집 도구와 다른 판정 모델이 들어갔고, 7월 퍼플렉시티 측정에서 같은 제품의 같은 지표는 5.7%였습니다._
- 매체: 초이의 뉴스레터 · 소식
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-09-28
- 링크: https://choi-newsletter.com/post/news-exa-ultra-search-completeness
- 답하는 질문: Exa Agent Ultra WANDR 점수와 가격
- 직답: 회사 발표 기준 WANDR 81.4%로 Opus 5.5의 72.3%보다 높고, 실행당 기본 상한은 20달러입니다.
- 출처: Exa, Introducing Exa Agent Ultra - A New Frontier for Deep Research (2026-09-25) (https://exa.ai/blog/exa-agent-ultra), Exa X 공지 (9월 25일) (https://x.com/ExaAILabs/status/2103526510355517826), Exa 문서, Agent Ultra (https://exa.ai/docs/agent/agent-ultra), Exa 문서, Exa Agent 가격과 노력 단계 (https://exa.ai/docs/reference/agent-api-guide), Perplexity, WANDR: A Benchmark for Wide and Deep Research (arXiv, 2026-08-14) (https://arxiv.org/abs/2608.14747), GitHub, perplexityai/wandr (https://github.com/perplexityai/wandr), Parallel 문서, API 가격 (https://docs.parallel.ai/getting-started/pricing), Firecrawl, Introducing Alexandria and our $75M Series B (2026-09-22) (https://www.firecrawl.dev/blog/introducing-alexandria-series-b), Firecrawl X 공지 (9월 22일) (https://x.com/firecrawl/status/2102426246235775068)
> Exa가 9월 25일 리서치 에이전트의 최고 노력 단계 Agent Ultra를 공개했습니다. 회사 표에서 WANDR 81.4%로 Opus 5.5의 72.3%를 앞섰고, 수집 도구와 판정 모델을 바꾼 자체 채점 틀에서 나온 숫자입니다.

검색 API 회사 Exa가 9월 25일(미국 시각) 자사 리서치 에이전트의 최고 노력 단계인 Agent Ultra를 공개했습니다. 회사가 낸 표에서 리서치 벤치마크 WANDR 점수는 81.4%로 Opus 5.5의 72.3%, Perplexity Agent의 40.1%, GPT-6 Astra의 26.0%보다 높습니다. 이 숫자는 Exa가 자사 수집 도구와 다른 판정 모델로 바꾼 채점 틀에서 나왔고, 경쟁 제품이 같은 틀에서 낸 공개 수치가 있을 때는 그 값을 그대로 가져왔다고 발표문에 적혀 있습니다.

공식 계정은 Ultra가 에이전트 떼를 지휘해 수천 개 출처를 훑고, 빠짐없는 조사와 목록 만들기를 끝까지 밀어붙이는 단계라고 소개했습니다. 발표문은 네 가지 시험에서 경쟁 제품의 최고 노력 설정을 모두 앞섰다고 적었습니다.

> 평가에서도 체감에서도 지금 가장 앞선 수준입니다.
> — Exa 발표 게시물

발표문이 든 쓰임새는 세 갈래입니다. 모델 회사에는 특정 기법을 구현한 논문과 코드 저장소를 모두 모으거나 리더보드가 있는 공개 벤치마크와 최고 기록을 모으는 작업, 금융 쪽에는 유럽에서 배터리 재활용을 하는 회사를 전부 찾아 창업자와 투자, 고객까지 채우는 시장 지도, 영업 쪽에는 미국에서 브라우저 자동화 도구를 만드는 회사 목록 같은 것입니다. 이미 가진 행을 넘겨 다음 결과에서 빼는 기능도 같이 소개했습니다.

![Exa Agent Ultra와 Opus 5.5, GPT-6 Astra, Perplexity Agent의 WANDR, DeepSearchQA, WideSearch, Find-All Company 점수를 비교한 표](https://exa.ai/images/blog/exa-agent-ultra-results-table.png)

| 시험 | 재는 값 | Agent Ultra | Opus 5.5 | GPT-6 Astra | Perplexity Agent |
| --- | --- | --- | --- | --- | --- |
| WANDR | soft recall | 81.4% | 72.3% | 26.0% | 40.1% |
| DeepSearchQA | F1 | 93.9% | 77.6% | 85.3% | 89.7% |
| WideSearch | 행 단위 F1 | 58.9% | 51.6% | 54.7% | 56.0% |
| Find-All Company | 과제당 통과 대상 수 | 2,451개 | 146개 | 113개 | 98개 |

표 아래 주석도 함께 읽을 대목입니다. 경쟁 제품은 모두 각자의 최고 노력 설정으로 돌렸고, Perplexity Agent는 노력 단계가 없어 GPT-6 Astra 위에서 실행했습니다. 평가 세트는 WANDR와 DeepSearchQA가 각각 최대 200개 과제, WideSearch와 Find-All Company가 각각 100개이며, 채점된 과제 수는 제공자마다 다릅니다.

## 이 시험은 무엇을 재나

WANDR는 퍼플렉시티가 7월 14일 공개한 리서치 에이전트 벤치마크입니다. 이름은 Wide ANd Deep Research에서 따왔고, 조건에 맞는 대상을 넓게 빠짐없이 찾는 능력과 대상마다 요구한 사실을 출처로 증명하는 능력을 한 번에 봅니다. 과제 500개와 채점 도구가 아파치 2.0으로 공개돼 있고, 기술 보고서는 8월 14일 arXiv에 올라왔습니다.

과제는 트리로 적습니다. 회사 n곳을 찾고 회사마다 직원 m명, 직원마다 근거 페이지 k개를 대라고 적으면 n×m×k개의 기록이 필요합니다. 채점기는 정답표를 쓰지 않고 에이전트가 낸 URL을 다시 가져와 페이지가 근거로 쓸 만한지, 발췌가 실제로 그 페이지에 있는지, 그 발췌가 요구 조건을 전부 증명하는지 차례로 봅니다. soft는 덜 채운 대상에도 부분 점수를 주고, hard는 대상 하나의 가지가 전부 맞아야 인정합니다. 시험을 만든 회사가 어떻게 자기 제품을 1위로 올렸는지는 [7월의 WANDR 공개](/post/paper-perplexity-wandr-benchmark)에 정리했습니다.

## 같은 이름, 다른 채점대

7월 보고서와 9월 발표문은 같은 시험 이름을 쓰지만 채점 조건이 다릅니다. Exa는 상류 저장소의 채점 로직을 가져왔다고 밝히면서, 세 가지가 다르다고 적었습니다. 페이지를 가져오는 수집 도구가 Exa이고, 전송 방식이 다르며, 판정 모델을 더 싸고 나은 gpt-6-luna로 바꿨다는 내용입니다. 7월 보고서의 판정 모델은 GPT-5.4였습니다.

| 측정 | 시점 | 채점 조건 | Exa | 퍼플렉시티 | 앤트로픽 | 오픈AI |
| --- | --- | --- | --- | --- | --- | --- |
| 퍼플렉시티 발표(과제 500개) | 7월 | 상류 저장소, 판정 GPT-5.4 | Agent high 5.7% | Search as Code 35.7% | Opus 4.8 22.2% | GPT-5.5 11.5% |
| Exa 발표(과제 최대 200개) | 9월 | Exa 수집 도구, 판정 gpt-6-luna | Agent Ultra 81.4% | Perplexity Agent 40.1% | Opus 5.5 72.3% | GPT-6 Astra 26.0% |

두 줄은 모두 같은 지표인 soft recall입니다. 그런데 7월에 5.7%였던 Exa가 9월에 81.4%로 올라오는 사이, 노력 단계도 모델도 채점 도구도 판정 모델도 과제 수도 함께 변했습니다. 한 줄 안에서 제품끼리 견주는 것까지는 조건이 같고, 두 줄을 이어 붙여 두 달 사이의 향상으로 읽으면 네 가지 변화가 한꺼번에 들어갑니다.

Find-All Company의 2,451개는 성격이 또 다릅니다. 점수가 아닌 과제당 통과 대상 수의 평균이고, 많이 내놓을수록 커집니다. Opus 5.5의 146개로 나누면 16.8배이고, 발표문이 적은 1,579% 더 높다는 표현과 같은 값입니다. 발표문에는 그 대상들이 조건에 맞는 비율, 곧 정밀도가 함께 적혀 있지 않습니다.

발표문이 쓴 비교 표현도 상대값입니다. WANDR에서 Opus 5.5보다 12.6% 높다고 적었는데, 81.4%와 72.3%의 차이는 9.1%포인트이고 72.3을 분모로 나누면 12.6%가 됩니다. DeepSearchQA는 퍼플렉시티보다 4.7%, WideSearch는 5.2%, Find-All은 1,579%로 적혀 있어 네 숫자의 단위가 모두 다릅니다. 포인트 차이와 비율 차이를 같은 줄에서 읽으면 폭이 달라 보입니다.

## 목록이 깊어지면 점수가 곱으로 떨어집니다

7월 보고서에는 목록 만들기가 왜 어려운지 숫자로 적혀 있습니다. 과제의 트리에 중간 단계가 없을 때와 3단계 이상일 때를 견주면, 1위 시스템의 hard 정밀도가 0.392에서 0.019로 내려갔습니다. 대상 하나에 가지가 하나 늘 때마다 그 대상을 놓칠 지점이 하나씩 늘고, 본 과제와 하위 과제의 점수를 곱해 대상 점수를 내기 때문입니다.

요구한 기록 수가 가장 적은 구간에서 가장 많은 구간으로 가도 같은 방향으로 움직입니다. 조건에 맞는 대상을 전부 찾는 일은 검색 횟수를 늘려서 풀리는 문제와 성질이 다르고, 조사 범위를 어디서 끊을지 스스로 정해야 끝이 납니다. Ultra에 시간 상한과 비용 상한, 중단 기능이 함께 붙은 이유도 여기에 있습니다.

## 점수가 깎이는 곳은 검색이 아니었습니다

7월 보고서는 여섯 제품의 실패를 단계별로 쪼개 놓았습니다. 아예 열 수 없는 페이지를 가져오는 비율은 다섯 제품이 한 자릿수였고 오픈AI만 23.1%였습니다. 점수는 그다음 두 단계에서 빠졌습니다. 가져온 페이지가 과제 조건을 하나 이상 놓친 비율이 33.6%에서 68.3% 사이였고, 발췌가 기록의 주장을 전부 증명하지 못한 비율은 57.5%에서 86.6% 사이였습니다.

Exa Agent의 7월 수치는 페이지 조건 미달 45.1%, 발췌 조건 미달 84.4%였습니다. 발췌가 페이지에 실제로 있는 문장일 때 요구 조건을 하나라도 증명하는 비율은 여섯 제품 모두 96.9% 이상이고, 전부 증명하는 비율은 55.6%에서 80.4%로 떨어집니다. 빠짐없이 찾는 문제의 어려움이 검색보다 증거 쪽에 몰려 있다는 측정입니다. Ultra가 이 구간에서 얼마나 개선됐는지는 상류 채점기로 다시 재야 갈립니다.

1위 시스템도 요구한 대상 7개 중 1개 정도만 근거까지 완전한 점수를 받았고, 시험지를 만든 회사가 1위를 한 조건도 논문에 적혀 있습니다.

## 30분 걸리고 20달러까지 쓰는 실행

Exa Agent는 비동기로 도는 API입니다. 과제를 하위 과제로 쪼개 서브에이전트에 나눠 주고, 어려운 곳에만 최상위 모델을 붙이고 쉬운 곳에는 빠른 모델을 씁니다. Ultra는 그 가운데 가장 오래 돌고 연산을 가장 많이 쓰는 단계입니다. 문서는 Ultra 실행이 보통 30분쯤 걸리고 어려운 과제는 3시간까지 간다고 적었습니다.

가격은 노력 단계로 정해집니다. 고정 단계는 요청당 가격이 정해져 있고, auto와 ultra는 쓴 만큼 계산하되 상한이 있습니다.

| 노력 단계 | 가격 |
| --- | --- |
| minimal | 요청당 0.012달러 |
| low | 요청당 0.025달러 |
| medium | 요청당 0.10달러 |
| high | 요청당 0.50달러 |
| xhigh | 요청당 1달러 |
| auto | 사용량 기준, 기본 상한 5달러 |
| ultra | 사용량 기준, 기본 상한 20달러 |

사용량은 에이전트 연산 단위 1개에 0.10달러, 검색 호출 1건에 0.005달러로 계산합니다. ultra와 auto에는 실행당 1달러에서 100달러 사이로 비용 상한을 걸 수 있고, ultra에만 5분에서 3시간 사이의 시간 상한을 추가로 걸 수 있습니다. 상한에 가까워지면 에이전트는 새 작업을 시작하지 않고 그때까지 찾은 것을 돌려줍니다. 실행이 끝난 이유도 여섯 가지로 구분해 돌려주는데, 과제를 끝낸 경우와 비용 상한에 닿은 경우, 시간 상한에 닿은 경우가 각각 다른 값으로 찍힙니다.

같은 단계의 이름은 9일 전까지 달랐습니다. 9월 16일 보관된 문서에서 노력 단계 목록의 마지막은 베타 표시가 붙은 max였고, 상한은 똑같이 20달러였습니다. 25일 발표에서 그 단계가 ultra라는 이름으로 정식 공개됐고, 전용 문서와 시간 상한, 실행 중단 기능이 함께 붙었습니다.

## 과제당 0.50달러에서 20달러로

비용 쪽 숫자가 두 달 사이에 가장 크게 움직였습니다. 7월 보고서에서 Exa Agent는 과제당 0.50달러에 중앙값 5.3분으로 여섯 제품 가운데 가장 싸고 빨랐고, 점수는 soft F1 0.070으로 가장 낮은 편이었습니다. 9월 발표의 Ultra는 상한 20달러짜리 실행을 보통 30분 돌립니다. 같은 제품이 같은 시험에서 싼 쪽에서 비싼 쪽으로 옮겨 갔습니다.

![가로축은 과제당 평균 비용, 세로축은 WANDR soft recall인 산점도. Exa Agent Auto에서 Ultra로 이어진 선이 가장 가파르고, Opus 5.5와 Perplexity Agent, GPT-6 Astra의 선이 아래쪽에 있습니다](https://exa.ai/images/blog/exa-agent-ultra-wandr-chart.png)

발표문은 Opus 5.5의 절반 비용이라고 적었고, 그림에서 Ultra는 20달러 아래, Opus 5.5는 40달러 가까운 곳에 찍혀 있습니다. 7월 보고서가 같은 시험에서 잰 과제당 비용은 퍼플렉시티 5.20달러, 앤트로픽 46.43달러, 오픈AI 0.50달러, 제미나이 15.24달러, Parallel 1.19달러였습니다. 앤트로픽 쪽 비용이 두 측정에서 가장 비싼 쪽에 있는 점은 같습니다.

목록 만들기를 파는 다른 회사의 공식 가격과 견주면 단위부터 다릅니다. Parallel은 목록 만들기 API를 고정 비용과 매치당 비용으로 나눠 받습니다.

| 제품 | 공식 가격 |
| --- | --- |
| Exa Agent ultra | 실행당 사용량 기준, 기본 상한 20달러 |
| Parallel FindAll base | 실행당 0.25달러 + 매치당 0.03달러 |
| Parallel FindAll core | 실행당 2달러 + 매치당 0.15달러 |
| Parallel FindAll pro | 실행당 10달러 + 매치당 1달러 |
| Parallel Task ultra4x | 1,000건당 1,200달러(건당 1.2달러) |
| 퍼플렉시티 Search as Code | WANDR 과제당 5.20달러(7월 보고서 실측) |

매치당 과금은 결과를 많이 찾을수록 요금이 오르는 구조라, 2,451개를 찾는 과제라면 Parallel pro 기준으로는 수천 달러가 됩니다. 실행당 상한이 걸린 Exa 쪽과 성격이 다른 계산입니다.

## 같은 주에 묶인 「에이전트용 검색」

9월 넷째 주에는 이 시장에서 발표가 겹쳤습니다. Firecrawl은 9월 22일 Smash Capital이 주도한 7,500만 달러 시리즈 B와 함께 Alexandria를 공개했습니다. 공식 데이터 제공처와 자체 색인, 살아 있는 웹을 하나의 인터페이스로 묶어 에이전트가 출처를 찾고 무엇이 들었는지 보고 가져오게 하는 구조입니다.

9월 24일 보관된 소개 페이지 기준으로 제공처 93곳, 정의된 기능 640개, 색인한 자료 1억 1,300만 건, 분류 20개입니다. 블로그는 같은 모델과 같은 프롬프트로 과제 845개를 돌려 블라인드 AI 판정으로 답변 품질이 내장 웹 도구보다 21% 높았다고 적었습니다. 이 숫자 역시 회사가 자사 환경에서 잰 값입니다. 저는 이 발표를 9월 24일 스레드에 정리하면서, 에이전트가 검색 결과 일부 대신 전체 데이터에서 조건을 맞춰 보는 쪽으로 간다고 적었습니다.

Exa도 같은 달에 과거 웹을 검색하는 Snapshot을 9월 17일 내놓았습니다. 한쪽은 데이터 공급처를 묶고, 한쪽은 시점을 늘리고, 둘 다 에이전트가 쓰는 조사 단위를 키웁니다. 검색 한 번에 답 하나를 돌려주던 제품이 조사 한 건을 통째로 맡는 제품으로 팔리는 중입니다.

## 국내 팀이 이 숫자를 검증하려면

WANDR 저장소는 아파치 2.0이라 국내 팀도 내려받아 자사 시스템을 같은 과제로 돌려 볼 수 있습니다. 비용은 미리 계산하는 편이 안전합니다. 7월 보고서 기준 퍼플렉시티 한 곳의 풀이 비용만 과제당 5.20달러이고 500개면 2,600달러이며, 채점에도 페이지 수집과 판정 모델 호출이 따로 듭니다. 상류 저장소의 기본 설정으로 돌리면 Exa가 바꾼 세 가지 조건이 빠진 값이 나옵니다.

붙이는 방법은 코드 없이도 됩니다. Exa는 호스팅 MCP 서버를 열어 두어 Claude와 Cursor 같은 클라이언트에서 실행 도구를 바로 부를 수 있고, 공식 SDK는 파이썬과 자바스크립트 두 가지입니다. Ultra는 OpenAI 호환 엔드포인트에서도 노력 값을 ultra로 주고 스트리밍이나 백그라운드로 받는 방식이 문서에 적혀 있습니다.

운영 조건도 발표와 함께 공개됐습니다. Exa Agent는 데이터를 남기지 않는 설정을 팀 단위로 걸 수 있는데, 이 설정에서는 실행 중과 종료 뒤 10분까지만 결과를 가져올 수 있고 이전 실행을 이어받는 기능과 외부 데이터 제공처 연결이 빠집니다. 길게 도는 실행을 쓰면서 기록을 남기지 않으려면 스트리밍으로 받아 두는 쪽이 됩니다.

## 다음에 확인할 것

Exa의 표에서 가장 중요한 조건은 채점을 누가 했느냐입니다. 상류 저장소의 기본 설정으로 Ultra를 돌린 제3자 수치가 나오면 세 가지 변경이 점수를 얼마나 올렸는지 갈라집니다. Find-All Company에서 통과 대상 2,451개의 정밀도가 공개되는지, 그리고 퍼플렉시티가 7월에 예고한 추가 측정이 나오는지가 다음에 볼 숫자입니다.

읽어 주셔서 고맙습니다.

초이 드림