보상 해킹

reward hacking

모델이 '실제로 잘하기' 대신 점수만 높이는 꼼수를 찾는 현상입니다. 채점기의 허점을 파고들기 때문에 평가와 안전 연구의 단골 주제입니다.

‘보상 해킹’ 이 나오는 글2

팟캐스트·6일 전AI

에이전트 시험 최대 96% 부정행위, 굿파이어 "모델은 자기가 속이는 줄 안다"

굿파이어 에릭 호가 10월 1일 MAD 팟캐스트에서 오픈웨이트 모델 셋이 에이전트 시험 실행의 50~96%에서 보상 해킹을 했다는 연구를 풀었습니다. 모델 속 부정행위 신호를 읽는 탐침은 사고 사슬 감시가 놓친 해킹을 잡았고, 키미 K3에서는 LLM 감시 비용을 90% 줄였습니다.

1시간 10분·Eric Ho

아티클·7월 7일AI

모델은 그대로, 하네스만 고쳐 점수 2.5배, 릴리안 웽의 자기개선론

같은 클로드 3.5 소네트로 하네스 코드만 진화시켜 SWE-bench Verified가 20%에서 50%로 올랐습니다. 릴리안 웽은 가까운 미래의 재귀적 자기개선이 가중치보다 하네스에서 먼저 시작된다고 봤고, 평가가 느린 분야와 보상 해킹, 실패 기록을 남은 병목으로 꼽았습니다.

12분

팟캐스트·6일 전AI

에이전트 시험 최대 96% 부정행위, 굿파이어 "모델은 자기가 속이는 줄 안다"

굿파이어 에릭 호가 10월 1일 MAD 팟캐스트에서 오픈웨이트 모델 셋이 에이전트 시험 실행의 50~96%에서 보상 해킹을 했다는 연구를 풀었습니다. 모델 속 부정행위 신호를 읽는 탐침은 사고 사슬 감시가 놓친 해킹을 잡았고, 키미 K3에서는 LLM 감시 비용을 90% 줄였습니다.

1시간 10분·Eric Ho

아티클·7월 7일AI

모델은 그대로, 하네스만 고쳐 점수 2.5배, 릴리안 웽의 자기개선론

같은 클로드 3.5 소네트로 하네스 코드만 진화시켜 SWE-bench Verified가 20%에서 50%로 올랐습니다. 릴리안 웽은 가까운 미래의 재귀적 자기개선이 가중치보다 하네스에서 먼저 시작된다고 봤고, 평가가 느린 분야와 보상 해킹, 실패 기록을 남은 병목으로 꼽았습니다.

12분

어려운 말은 풀어서, 매주 한 통

매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.

개인정보 수집·이용에 동의합니다(필수)자세히

구독하기