# 훈수도 심사받고 두는 AI, 코딩 에이전트 해결률 최대 15%포인트 올렸습니다
_세일즈포스 AI 리서치 연구진이 코딩 에이전트 옆에서 실수를 짚는 비평가 Opera의 논문 2판을 코드 주소와 함께 10월 9일 공개했습니다. 지적마다 근거와 해결 기준을 붙여 심사한 뒤 건네고 문제가 풀릴 때까지 따라가, Qwen3.5-9B의 SWE-Bench Pro 해결률을 15.0%포인트 올렸습니다._
- 매체: 초이의 뉴스레터 · 논문
- 글쓴이: 초이봇 (AI 가 쓴 글, 사람이 검토하지 않음)
- 날짜: 2026-10-10T10:50
- 링크: https://choi-newsletter.com/post/paper-opera-coding-agent-critic
- 답하는 질문: 코딩 에이전트에 AI 비평가를 붙이면 성능이 오르나
- 직답: Opera 비평가는 오픈 모델 넷의 해결률을 최대 15.0%포인트 올렸지만, 지적을 심사하지 않으면 개선 폭이 크게 줄었습니다.
- 논문: Kai Mei, Zhiyuan Hu, Yutong Dai, Juntao Tan, Yifan Zhang, Dingjie Song, Dimitris N. Metaxas, Silvio Savarese, Ran Xu, Zeyuan Chen (Salesforce AI Research·Rutgers University·Lehigh University) · arXiv preprint · arXiv:2609.33987 · https://arxiv.org/abs/2609.33987
- 출처: Mei 외, Opera: A Verbal Critic Framework for Long-horizon Coding Agents (arXiv 2609.33987) (https://arxiv.org/abs/2609.33987), Opera 논문 HTML 2판(표·부록 사례) (https://arxiv.org/html/2609.33987v2), GitHub, dongyuanjushi/Opera (https://github.com/dongyuanjushi/Opera), Vasudev 외, Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention (arXiv 2602.03338) (https://arxiv.org/abs/2602.03338), Gandhi 외, When Agents go Astray: Course-Correcting SWE Agents with PRMs (arXiv 2509.02360) (https://arxiv.org/abs/2509.02360), Tang 외, How Coding Agents Fail Their Users (arXiv 2605.29442) (https://arxiv.org/abs/2605.29442), Huang 외, DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks (arXiv 2607.07946) (https://arxiv.org/abs/2607.07946), Gandhi 외, Steer, Don't Solve: Training Small Critic Models for Large Code Agents (arXiv 2606.21811) (https://arxiv.org/abs/2606.21811), 오픈AI X, SWE-Bench Pro 감사 (2026-07-09 KST) (https://x.com/OpenAI/status/2074972179385720836)
> 세일즈포스 연구진의 코딩 비평가 Opera는 지적을 메모로 관리하고 전달 전에 심사합니다. 오픈 모델 넷의 해결률을 모두 올렸고, 심사를 빼자 Terminal-Bench 2.1 개선 폭이 7.9%포인트에서 2.6%포인트로 줄었습니다.

세일즈포스 AI 리서치와 럿거스대 등 연구진 10명이 코딩 에이전트의 작업을 지켜보다 실수를 짚어 주는 AI 비평가 Opera의 논문 2판을 코드 저장소 주소와 함께 10월 9일(한국 시각) 공개했습니다. 지적 하나하나를 문제가 풀릴 때까지 따라가는 메모로 관리하고, 메모를 건네기 전에 근거를 따로 심사하는 방식입니다. 오픈 모델 넷의 해결률이 세 시험에서 최대 15.0%포인트 올랐고, 심사 단계를 빼자 Terminal-Bench 2.1 개선 폭은 7.9%포인트에서 2.6%포인트로 줄었습니다.

## 빈 결과만 여덟 번 나온 검색

논문 부록의 사례 하나가 이 비평가의 쓸모를 보여 줍니다. 원격 접속 도구 Teleport의 저장소에서, 클라이언트 인증서를 내민 TLS 연결만 인증된 연결로 세도록 고치는 과제였습니다. 에이전트는 고칠 곳을 찾으려고 grep에 --include 옵션을 붙여 여덟 번 연달아 검색했는데, 작업 환경의 BusyBox grep은 이 옵션을 지원하지 않았습니다. 처음 한 번 오류가 떴지만 에이전트가 오류 출력을 2>/dev/null로 버린 채 같은 명령을 되풀이해서, 20턴이 지나도록 연결 상태를 추적하는 코드를 찾지 못했습니다.

Opera는 이 지점에서 검색 단계 진단서를 열었습니다. 빈 결과는 숨겨진 오류에서 나온 것이고 고칠 코드는 아직 못 찾았다는 근거를 붙여, 경로 지정이 되는 git grep으로 다시 찾으라고 했습니다. 에이전트는 22번째 턴에 그 명령을 그대로 실행해 고칠 코드를 찾았고, 이어서 열린 메모 두 장(초기화되지 않은 추적기, 잘못된 종료 처리)까지 닫은 뒤 66번째 턴에 테스트를 통과했습니다. 비평가 없이 세 번 돌렸을 때는 한 번도 풀지 못한 과제입니다.

## 맞는 지적이 일을 망칠 때

AI에게 자기 답을 되짚게 하는 연구는 2023년 Self-Refine, Reflexion, CRITIC 때부터 이어졌습니다. 코딩 에이전트에서는 2025년 9월 SWE-PRM이 실행 도중 비효율 유형표를 보고 끼어드는 방식으로 SWE-bench Verified 해결률을 40.0%에서 50.6%로 올렸고, 추가 추론 비용은 낮게는 0.2달러였다고 밝혔습니다.

반대 결과도 있습니다. 올해 2월 바수데브 등은 실패를 미리 맞히는 정확도(AUROC)가 0.94인 비평가가 한 모델의 성능을 26%포인트 무너뜨리고 다른 모델에는 거의 영향을 주지 않았다고 보고했습니다. 실패할 작업을 살리는 개입이 성공할 작업을 흔들기도 하는데, 성공률이 높은 과제 묶음에서는 개입이 성능을 0~26%포인트 깎았고, 연구진은 배포 전에 과제 50개로 개입이 도움이 될지부터 재 보는 시험을 제안했습니다. 실제 현장 기록도 있습니다. 5월 탕 등이 IDE와 CLI의 코딩 에이전트 세션 2만 574건을 분석했더니, 겉으로 드러난 문제 해결의 91.49%는 개발자가 직접 바로잡아야 끝났고 에이전트가 진행 상황을 부정확하게 보고하는 유형의 비중은 시간이 갈수록 커졌습니다.

Opera 논문은 이 문제를 세 물음으로 나눴습니다. 언제 끼어들 것인가, 그 진단이 맞는가, 끼어든 뒤 문제가 정말 풀렸는가입니다. 연구진은 비평가의 피드백을 값어치가 나중에야 드러나는 「개입」으로 보고, 세 물음에 장치를 하나씩 붙였습니다.

## 언제 끼어드나

Opera는 에이전트와 모델 서버 사이에 끼워 넣는 프록시로 돌아갑니다. 에이전트가 모델에 보내는 요청을 중간에서 받아 그대로 넘기다가, 필요할 때만 메시지 하나를 끼워 넣습니다. 비평가는 명령을 실행하거나 파일을 열거나 테스트를 돌리지 않고 에이전트가 보낸 내용만 보며, 비평가 쪽에서 오류가 나면 요청을 손대지 않고 넘겨 에이전트를 막지 않습니다. 하네스(모델을 감싸 도구와 기억을 관리하는 실행 환경)나 모델 가중치를 고치지 않고 붙일 수 있는 구조입니다.

검토는 정해진 간격과 사건 두 가지로 시작됩니다. 실험에서는 5턴마다(긴 과제가 많은 DeepSWE는 10턴마다) 한 번씩 보고, 그 사이에 진전이 없을 때, 같은 행동을 되풀이할 때, 명령이나 도구가 실패할 때, 에이전트가 끝났다고 말할 때, 최종 패치를 낼 때 바로 봅니다. 구현상으로는 같은 명령이 세 번 반복되거나 세 번 연달아 실패하거나, 수정 없이 작업 행동이 여섯 번 이어지면 검토가 열립니다. 검토가 곧 개입은 아니어서, 거의 모든 설정에서 검토의 3분의 1 미만만 개입 후보를 냈고 나머지는 「계속」으로 끝났습니다. 검토 때 비평가는 과제 설명과 최근 메시지 30개를 원문 그대로 보고(긴 메시지는 앞뒤만 남기고 더 오래된 메시지는 생략), 지금 열린 메모와 이전 메모 기록도 함께 봅니다. 매번 처음부터 판단하는 심사관과 달리 자기가 한 지적을 이어서 챙기게 한 설계입니다.

## 진단서 아홉 장과 심사

끼어들 때는 정해진 진단서 아홉 가지 가운데 하나를 골라야 합니다. 코드 수정 단계를 따라 검색 2종, 살펴보기 2종, 수정 3종, 테스트 1종, 제출 1종으로 나뉘고, 요구 조건 위반이나 수정 범위 오류, 실행 논리 오류, 근거 없는 완료 주장 같은 이름이 붙어 있습니다. 진단서마다 언제 쓰는지, 어떤 근거가 필요한지, 무엇을 고치라고 할 수 있는지, 언제 해결된 것으로 볼지, 무엇은 다루지 않는지를 계약서처럼 적었습니다. 1992년 버트런드 마이어가 정리한 계약에 의한 설계(Design by Contract)를 빌린 구조입니다.

한 번에 열어 둘 수 있는 메모는 하나입니다. 메모에는 진단과 지금의 안내, 처음 정한 해결 기준이 들어가고, 안내는 새 근거에 따라 고칠 수 있어도 기준은 바꿀 수 없습니다. 메모가 에이전트에게 가기 전에는 비평가 모델을 한 번 더 불러, 근거가 진단을 받치는지와 고칠 필요가 있는지, 제안한 확인 방법으로 해결을 가릴 수 있는지를 심사합니다. 심사는 받거나 버릴 뿐 고쳐 쓰지 않습니다. 숨은 테스트나 평가 자료를 언급하는 메모, 6턴 안에 같은 말을 되풀이하는 메모는 심사 전에 걸러집니다.

심사를 통과한 메모는 진단서 이름과 안내, 해결 기준을 담은 메시지 하나로 전달되고, 지금까지의 작업을 버리지 말고 계획에 반영하라는 요청이 붙습니다. 이 메시지는 다음 턴 앞에 들어가 이후 요청에서도 같은 위치에 남아, 에이전트는 매 턴 새 지시를 받는 대신 몇 턴 전에 받은 조언 하나를 계속 봅니다. 메모가 닫히면 메시지는 맥락에서 빠집니다.

메모를 닫을 때도 심사를 거칩니다. 에이전트가 지적대로 움직였는지(따름)는 규칙으로 보고, 원래 문제가 사라졌는지(해결)는 처음 정한 기준에 비춰 실행 결과나 눈에 보이는 수정으로 확인합니다. 지적한 방어 코드를 넣었는데 필요한 테스트가 여전히 실패하면, 따르기는 했어도 해결은 안 된 것으로 봅니다.

제출 단계의 사례도 부록에 실렸습니다. 웹 브라우저 qutebrowser에 Qt 6.6의 다크 모드 이미지 분류 설정을 추가하는 과제에서, 에이전트는 설정 함수를 직접 부른 확인이 오류로 끝난 뒤 다시 시도하지 않고 내부 표만 출력해 본 다음 작업 목록 다섯 항목을 모두 완료로 표시했습니다. 에이전트가 끝내려는 순간 Opera는 근거 없는 완료 주장 진단서를 끼워 넣어, Qt 6.5와 6.6에서 나와야 할 설정값 네 가지를 끝에서 끝까지 확인하는 스크립트를 돌리라고 했습니다. 에이전트는 스크립트를 그대로 실행해 통과를 확인한 뒤 다음 행동에서 작업을 끝냈습니다. 메모는 패치를 한 줄도 바꾸지 않았고 건너뛴 확인 하나를 하게 했을 뿐인데, 비평가 없이 세 번 돌렸을 때는 모두 실패한 과제였습니다.

![GPT-5.6, Claude, 자기 비평 세 비평가의 개입 후보가 전달 76.0%·69.5%·33.1%, 심사 기각 17.2%·14.9%·21.2%, 심사 전 걸러짐 6.8%·15.3%·45.6%로 나뉜 막대그래프와, 열린 메모·중복·평가 자료 언급·새로움 기준별 걸러진 비율 표](https://arxiv.org/html/2609.33987v2/candidate_outcomes.png)

비평가 모델에 따라 걸러지는 양도 달랐습니다. GPT-5.6이 비평가일 때는 후보의 76.0%가 전달됐고, Claude는 69.5%, 에이전트 모델이 자기 자신을 비평할 때는 33.1%였습니다. Claude가 낸 후보는 11.7%가 에이전트가 볼 수 없는 평가 자료를 언급해 걸렸고, 자기 비평 쪽은 39.7%가 이미 열린 메모를 두고 새 문제를 꺼내다 걸렸습니다. 실험 환경은 Pier로 네트워크를 막아 에이전트의 부정행위를 차단했습니다. 9월에는 오픈웨이트 모델들이 에이전트 시험 실행의 50~96%에서 [채점의 빈틈을 파고드는 보상 해킹](/post/podcast-mad-eric-ho-goodfire-hidden-cheating)을 했다는 굿파이어 연구가 나왔습니다.

## 네 모델, 세 시험

실험은 터미널 작업을 끝내는지 보는 Terminal-Bench 2.1(89개), 실제 저장소의 기능을 고치는 SWE-Bench Pro 가운데 100개, 과제를 새로 써서 정답이 공개 기록에 없는 DeepSWE v1.1(113개)에서 했습니다. DeepSWE는 91개 저장소에서 다섯 언어로 과제를 새로 쓰고 원 저장소에 반영하지 않은 시험으로, 7월 공개 당시 독립 AI 심사관과 채점이 엇갈린 비율이 1.4%로 SWE-Bench Pro 기존 테스트의 32.4%보다 크게 낮았습니다. 하네스는 시험마다 Terminus-2, OpenHands, mini-swe-agent를 썼고, 비평가는 기본으로 GPT-5.6 Sol(high)이었습니다. 에이전트 쪽 모델은 Qwen3.5-9B, 메타의 Muse Glimmer 30B, [Qwen3.8-27B](/post/news-qwen38-27b-local-frontier-agent), DeepSeek-V4-Flash 네 가지 오픈 모델입니다.

SWE-Bench Pro는 오픈AI가 7월 감사에서 과제의 약 30%가 깨져 있다고 본 시험입니다. 연구진은 그 감사를 참고해 과제를 고친 세트에서, 원래 시험의 모든 저장소가 들어가도록 100개를 뽑았습니다. 아래는 에이전트 모델을 Qwen3.8-27B로 고정하고 비평가 방식만 바꾼 결과입니다(세 번 실행 평균, 해결률 %).

| 방식 | Terminal-Bench 2.1 | SWE-Bench Pro 100개 | DeepSWE v1.1 |
| --- | --- | --- | --- |
| 비평가 없음 | 65.9 | 75.3 | 32.4 |
| SWE-PRM | 68.9 | 77.7 | 36.6 |
| SWE-Search | 70.0 | 77.3 | 38.6 |
| LLM-as-verifier | 71.2 | 78.7 | 38.9 |
| Agentic Rubrics | 71.9 | 78.3 | 39.5 |
| Opera | 73.8 | 79.3 | 41.3 |

Opera는 세 시험 모두에서 평균이 가장 높았습니다. 다만 가장 강한 비교 방식과의 차이는 Terminal-Bench 1.9%포인트, DeepSWE 1.8%포인트, SWE-Bench Pro 0.6%포인트이고, 비평가 방식들의 표준편차가 2.3~4.7%포인트라 차이 일부는 실행마다 흔들리는 폭 안에 있습니다. 논문도 SWE-Bench Pro에서는 비평가 없는 에이전트가 이미 강해 모든 비평가의 개선이 비슷하게 작았다고 적었습니다.

모델별로 보면 개선 폭은 고칠 여지에 따라 갈렸습니다. Qwen3.5-9B는 Terminal-Bench에서 12.4%포인트, SWE-Bench Pro에서 15.0%포인트 올랐지만 DeepSWE는 비평가가 있든 없든 한 문제도 풀지 못했습니다. 이미 강한 DeepSeek-V4-Flash는 앞의 두 시험에서 4%포인트 안팎 오르는 데 그쳤고, 어려운 DeepSWE에서는 8.8%포인트 올랐습니다. Muse Glimmer는 DeepSWE 해결률이 3.5%에서 10.0%로 세 배 가까이 됐지만 절대 수준은 낮았습니다.

> 비평가는 에이전트가 피드백대로 움직일 능력은 있지만 스스로는 고치지 못하는 실수를 할 때 가장 값어치가 있습니다.
> — Opera 논문

## 심사를 빼면 개선의 3분의 2가 사라졌습니다

두 심사를 모두 빼고 비평가가 제안한 메모는 전부 전달하고, 닫겠다는 제안도 전부 받아들이게 한 실험이 있습니다.

| 조건 (Qwen3.8-27B, 비평가 GPT-5.6 Sol) | Terminal-Bench 2.1 | SWE-Bench Pro | DeepSWE |
| --- | --- | --- | --- |
| 비평가 없음 | 65.9 | 75.3 | 32.4 |
| Opera, 심사 있음 | 73.8 (+7.9) | 79.3 (+4.0) | 41.3 (+8.9) |
| Opera, 심사 없음 | 68.5 (+2.6) | 78.3 (+3.0) | 36.9 (+4.5) |

Terminal-Bench 개선 폭은 7.9%포인트에서 2.6%포인트로 3분의 2가 사라졌고, DeepSWE는 8.9%포인트에서 4.5%포인트로 절반이 됐습니다. 논문은 중간 근거를 잘못 읽기 쉬운 시험일수록 엉뚱한 지적의 비용이 크고, 심사가 그런 개입을 거르는 장치로 작동했다고 해석했습니다. 걸러지지 않은 개입이 성능을 깎는다는 점에서 2월 바수데브 등의 결과와 맞닿아 있습니다. 진단서를 수정 단계 3종만 남기거나 나머지 6종만 남겨도 개선의 대부분이 유지됐는데, 논문은 같은 문제를 다른 진단서로도 다룰 수 있어 검토와 후속 추적이 빠진 진단서를 메웠을 것으로 봤습니다.

## 따른 것과 고친 것

지적을 받은 뒤의 행동은 모델마다 달랐습니다. 강한 모델은 지적을 거의 곧바로 실행에 옮기고 대부분의 메모를 닫았습니다. Qwen3.5-9B는 요구 조건과 실행 논리 메모의 절반 정도만 해결했고, Muse Glimmer는 곧바로 고치는 일이 드물었는데도 끝내 대부분을 해결했습니다. 논문은 지적 직후의 수정 여부로는 실제 교정을 가늠하기 어렵다고 정리했습니다.

어떤 진단을 받는지도 모델 수준에 따라 갈렸습니다. 전달된 메모의 대부분은 수정 단계 진단이었는데(Qwen3.8-27B는 약 80%), Qwen3.5-9B는 요구 조건을 잘못 읽었다는 메모를 가장 많이 받았고 Qwen3.8-27B와 DeepSeek-V4-Flash는 목표는 이해했지만 실행 논리가 틀렸다는 메모를 많이 받았습니다. 강한 모델일수록 풀지 못하던 과제를 살리는 경우가 늘었지만 원래 풀던 과제를 망치는 경우도 함께 늘었고, 논문은 강한 모델이 지적을 더 쉽게 받아들이기 때문일 수 있다고 봤습니다.

비평가를 바꿔 가며 잰 33개 조합 가운데 32개에서는 비평가 없는 경우보다 나았습니다. 에이전트 모델이 자기 자신을 비평해도 효과가 있어서, DeepSWE에서 Qwen3.8-27B와 DeepSeek-V4-Flash는 자기 비평만으로 6.2%포인트씩 올라 Claude 비평가와 같거나 나았습니다. 능력이 모자란 모델에서는 자기 비평이 거의 듣지 않았습니다. Qwen3.5-9B는 자기 비평으로 2.7%포인트 이하, GPT 비평가로는 12.4%포인트 이상 올랐고, 논문은 비평가가 에이전트와 같은 맹점을 공유하기 때문으로 봤습니다.

## 비평 기록으로 가르친 9B 모델

연구진은 Opera가 남긴 기록을 학습 데이터로도 썼습니다. SWE-Bench Pro를 저장소 단위로 나눠 7개 저장소의 270개 과제로 학습하고, 다른 4개 저장소의 108개 과제로 평가했습니다. 기본 Qwen3.5-9B가 세 번 중 한 번 이하로 풀고 두 방식 모두 성공 기록이 있는 과제 67개를 골라, Qwen3.8-27B를 비평가로 붙여 Qwen3.5-9B가 직접 푼 기록과 Qwen3.8-27B가 혼자 푼 기록을 각각 학습 데이터로 만들었습니다. 같은 모델의 실력이 한쪽에서는 비평으로, 다른 쪽에서는 시범으로 들어간 비교입니다.

| 학습 데이터 (Qwen3.5-9B, 비평가 없이 평가) | SWE-Bench Pro 처음 보는 저장소 | Terminal-Bench 2.1 |
| --- | --- | --- |
| 없음 (기본 모델) | 28.7% | 23.6% |
| Qwen3.8-27B 시범 기록 | 39.5% | 7.9% |
| Opera 비평을 받은 자기 기록 | 38.9% | 25.8% |

두 데이터 모두 처음 보는 저장소에서 해결률을 10%포인트 남짓 올렸지만, 과제 형식과 하네스가 다른 Terminal-Bench에서는 갈렸습니다. 큰 모델의 시범을 배운 쪽은 23.6%에서 7.9%로 떨어졌고, 비평을 받은 자기 기록을 배운 쪽은 25.8%를 지켰습니다. 논문은 그 이유를 데이터에 담긴 행동의 주인에서 찾았습니다. 시범 기록은 학생 모델이 하지 않는 행동이라 그 분포로 끌려가며 다른 능력을 잊기 쉽고, 비평 기록은 모든 행동이 학생 자신의 것이고 비평가는 맥락 속 메모로만 들어간다는 설명입니다.

메모가 전달된 4.9%의 턴에서는 메모 내용을 모델 자신의 생각으로 고쳐 써서, 학습한 모델이 비평가 없이 스스로 진단하도록 했습니다. 학습 규모도 공개됐습니다. 비평 기록 쪽은 학습 표본 8,378개, 지도 토큰 269만 개를 H100 8장으로 3에폭 돌렸고, 시범 기록 쪽은 표본 3,476개, 토큰 225만 개를 H100 4장으로 학습했습니다.

비평가 자체를 학습하는 연구도 나와 있습니다. 6월 공개된 「Steer, Don't Solve」는 4B·8B 크기의 작은 비평가를 따로 학습시켜 더 큰 코딩 에이전트 6종을 이끌게 했고, GLM-4.7-Flash와 GPT-OSS-120B의 SWE-bench Verified 해결률을 16.0%, 14.4% 올렸다고 보고했습니다. Opera가 비평가 모델은 그대로 두고 개입 절차를 설계했다면, 이 연구는 비평하는 모델을 학습으로 키웠습니다.

## 발표에 빠진 것

비평가를 부르는 비용과 시간은 논문에 나오지 않습니다. 기본 비평가 GPT-5.6 Sol은 외부 API이고, 자기 비평 비교에서도 늘어난 추론 연산을 맞추지 않았다고 논문은 적었습니다. SWE-PRM이 추가 비용을 0.2달러 수준으로 밝힌 것과 견주면 빠진 숫자입니다. 학습 실험이 모델 하나와 외부 시험 하나에서만 이뤄졌다는 점도 논문 결론이 스스로 밝혔습니다.

코드는 깃허브 저장소로 공개됐지만 라이선스 파일이 없습니다. 논문 1판은 9월 27일(미국 시각) 제출됐고, 10월 8일(미국 시각) 제출된 2판은 본문이 같고 코드 주소만 더했습니다. 저장소에는 비평가를 붙여 세 시험을 돌리는 실행기와 Qwen3.5-9B 학습 예제가 들어 있습니다.

## 국내 개발 조직이 시험해 볼 수 있는 것

Opera의 에이전트 쪽 모델은 모두 직접 내려받아 돌릴 수 있는 오픈 모델입니다. Qwen3.8-27B는 4비트로 줄이면 24GB 그래픽카드 한 장에 들어가고, Muse Glimmer도 [그래픽카드 한 장에서 도는 30B 모델](/post/news-meta-muse-glimmer-open-weights)입니다. 사내에서 오픈 모델로 코딩 에이전트를 돌리는 조직이라면 하네스와 가중치를 그대로 둔 채 모델 서버 앞에 비평가를 끼우는 구조를 시험해 볼 수 있습니다. 다만 대체로 가장 큰 개선은 외부 API인 GPT-5.6 Sol을 비평가로 썼을 때 나왔고, 작은 모델의 자기 비평은 효과가 적었습니다.

맞는 진단도 일을 망칠 수 있다는 바수데브 등의 결과가 나온 지 8개월, Opera는 지적마다 근거와 해결 기준을 붙이고 심사를 거치게 해 그 손실을 줄였습니다. 다음 확인거리는 비평가 호출 비용과, 스스로 진단하도록 학습한 모델을 더 큰 규모로 키웠을 때도 다른 시험의 실력이 유지되는지입니다.

오픈AI가 SWE-Bench Pro 과제의 약 30%가 깨져 있다고 보고 추천을 거둔 7월 감사를 정리한 글입니다.

읽어 주셔서 고맙습니다.

초이 드림