"지금 모델에 맞추면 실패" ChatGPT Work 책임자의 2~3개월 규칙

레니는 공개 당일 X에 대화에서 나온 오픈AI 내부 구호 하나를 첫 줄로 올렸습니다. 「그거 벌써 달고 사나(Are you mainlining it yet?)」라는 말입니다. 만드는 제품을 매일 온종일 쓰는지, 그 제품에 기대어 일하는지, 사람들이 정말 원하는 물건인지 자기 안목을 다 동원해 따지는지를 묻는 구호이고, 레니는 이 구호를 코덱스 쪽으로 분위기가 넘어온 큰 이유로 꼽았습니다. 안에서 무엇이 달라졌느냐는 자기 질문에 세샨이 내놓은 답은 「아무것도」였다고 적었습니다.

스트라이프 첫 PM 다섯 명에서 오픈AI 1년 차까지

세샨은 당시 해마다 20세 미만 20명을 뽑아 대학 대신 하고 싶은 일을 하라며 10만 달러를 주던 틸 펠로십(Thiel Fellowship) 출신 창업자입니다. 스트라이프에는 처음 다섯 명의 PM(프로덕트 매니저) 가운데 한 명으로 들어가 6년 넘게 일했고, 타임지가 2022년 최고의 발명품으로 꼽은 워터셰드(Watershed)의 제품을 이끌었습니다. 이어 스노플레이크를 사내에서 길러 낸 벤처캐피털 서터 힐의 사내 창업가를 거쳐 약 1년 전 오픈AI에 왔습니다. 함께 일하는 엔지니어링 매니저는 6월 같은 방송에서 구현보다 안목이 비싸졌다고 말한 앤드루 암브로시노입니다.

서터 힐에서 가장 크게 배운 것으로는 일의 순서를 들었습니다. 제품을 만들기 전에 100명에게 먼저 설명해 보며 이 제품이 왜 판을 바꾸는지 이야기를 다듬고, 그다음에야 제품의 모양을 정한다는 겁니다. 그전까지 과소평가했던 제품 마케팅이 회사의 성패를 가를 수 있다는 것을 거기서 알았다고 했습니다.

오픈AI에서 1년 동안 가장 놀란 점으로는 두 가지를 꼽았습니다. 전에 일한 회사는 모두 창업자 한 사람이 이끄는 곳이었는데, 오픈AI는 모두가 제 영역의 창업자처럼 움직여서 위에서 내려오는 지시가 아주 적다고 했습니다. 다른 하나는 비밀 전략이 따로 없었다는 것입니다. 오픈AI의 비밀 전략이 가득한 보물 창고를 기대하고 왔는데, 세상과 제품과 모델이 어떻게 움직여야 하는지에 대한 생각은 금세 공개 제품이나 공개 메시지가 된다고 했습니다. AGI가 돌아가는 비밀의 방이 있지 않으냐는 레니의 농담에는 적어도 자기는 그 방에 없다고 받았습니다.

2~3개월 뒤의 모델에 맞춰 만든다

세샨이 제품을 만들며 늘 되묻는 물음은 지금 만드는 것이 2~3개월 뒤의 모델에 맞느냐는 것입니다. 너무 앞서 만들어도 틀리고, 지난 모델의 능력에 맞춘 제품은 완전히 틀린다고 했습니다. 그래서 모델의 능력을 제품의 가운데에 두고, 자신이 만든 제품 구조가 모델을 가로막지 않게 비켜선다고 설명했습니다.

지금 모델에 맞춰 만들면 실패합니다. 1년 뒤 모델을 생각하고 만들어도 실패합니다. 두 결과 모두 똑같이 틀렸습니다.— 타라 세샨, 오픈AI 코덱스·ChatGPT Work 제품 책임자 (Lenny's Podcast)

2~3개월 뒤를 어떻게 아느냐는 물음에는 연구 조직과의 거리를 들었습니다. 모델 개발이 깜깜한 상자 속 일은 아니어서, 연구팀은 코딩이나 글쓰기의 특정 능력을 끌어올리는 데 힘을 모읍니다. 제품 개발을 그 연구 안건과 로드맵에 최대한 붙여 두는 것이 방법이라는 답이었습니다.

같은 기간을 말한 사람이 오픈AI에 또 있습니다. 코덱스와 ChatGPT를 이끄는 티보 소티오는 8월 4일(한국 시각) X에 코덱스가 좋은 하네스(모델에 도구를 붙여 일을 시키는 실행 틀)인 것은 분명하지만 2~3개월 뒤면 원시적으로 보일 거라고 적었습니다. 2월 19일(미국 시각) 코덱스 팀 워크숍을 마친 뒤에도 10주 남짓이 지나면 지금의 코딩 에이전트가 우스울 만큼 원시적이었던 것으로 기억될 거라고 썼습니다. 그 예고와 뒤이은 인수는 소티오의 8월 예고를 다룬 글에 정리했습니다.

이 속도에서 PM이 잃은 것으로 세샨은 큰 전략을 치밀하게 짜는 일을 꼽았습니다. 결제처럼 성숙한 시장에서는 내가 이 수를 두면 경쟁사가 어떤 수를 둘지 첫 원리부터 따져 볼 수 있고, 그렇게 따진 쪽이 이깁니다. AI 시장은 무엇이 나올지 알기 어렵고 연구와 붙어 있어야 해서, 박사 논문 같은 긴 추론 문서 대신 사용자에게 시험해 볼 물건을 최대한 빨리 만드는 쪽으로 옮겨 왔습니다. 처음에는 실사를 제대로 안 하는 것 같아 불안했다고 털어놓았습니다.

남는 일은 제품의 성패를 가를 가장 중요한 물음 하나, 시시르 메로트라가 고유 질문(eigenquestion)이라고 부른 것을 찾아 가설을 날카롭게 세우고 빨리 시험하는 순환입니다. 세샨은 이것이 원래 PM 일의 본체였고, 문서 작성과 일정 관리 같은 곁가지가 떨어져 나간 지금은 엔지니어와 디자이너, 데이터 과학자까지 같은 방식으로 생각한다고 했습니다.

노를 젓는 일은 에이전트가 맡는다

세샨은 앞으로의 일을 배의 조타에 빗댔습니다. 노를 젓는 실행은 에이전트가 맡고, 사람은 배가 갈 방향을 정합니다. 코드 한 줄을 쓰고 탭 키로 자동 완성을 받던 단계에서 목표를 지시하는 단계로 올라왔고, 추상화가 더 올라가도 방향을 고르는 일은 사람에게 남는다고 했습니다. 방향은 데이터가 가리키는 쪽만 따라가서 정해지지 않고, 세상이 이쪽으로 가면 좋겠다는 의견을 담아 정하는 일이라는 설명입니다.

모두가 같은 도구를 쓰면 무엇이 차이를 만드느냐는 물음에는 스트라이프 창업자 콜리슨 형제 가운데 한 명의 말을 빌렸습니다. 소프트웨어는 돈을 넣으면 가치가 나오는 부동산과 달리, 큰 예산이 좋은 작품을 보장하지 않는 영화 제작에 가깝다는 말입니다. 사람에게 남는 것으로는 결과를 책임지는 일, 무엇을 만들지 고르는 표현, 서로를 돌보고 동료의 야망을 북돋는 관계를 들었습니다.

PM은 남의 야망을 키운다

AI 도구를 가장 잘 쓰는 동료들은 반복 업무를 자동화하는 데서 멈추지 않고 할 수 있는 일의 범위를 넓힌다고 했습니다. 예전에는 제품 감각이 있으면서 엔지니어이자 디자이너인 사람이 유니콘 인재였습니다. 직무 사이의 번역을 혼자 없애고 아이디어를 곧바로 물건으로 만들었기 때문입니다. 세샨은 이제 누구나 디자인 시안을 띄우고, 시제품을 만들고, 가격 모델의 시나리오를 돌릴 수 있게 됐다고 했습니다.

ChatGPT Work가 나온 7월 9일(미국 시각)에도 세샨은 X에 사내에서 가장 크게 달라진 점 세 가지를 적었습니다. 모두가 반복 업무를 자동화하고, 할 수 있는 일을 넓히고, Sites로 작업을 공유한다는 내용입니다. 자기도 이제 쓸 만한 재무 모델을 만든다며, Sites가 발표 자료보다 100배 낫다고 덧붙였습니다.

어려운 것은 생각의 폭을 넓히는 일이라고 했습니다. 세샨이 참고하는 것은 패트릭 콜리슨이 개인 웹사이트에 모아 둔 빠른 프로젝트 목록입니다. 목록에 따르면 엠파이어 스테이트 빌딩은 착공부터 완공까지 410일, 자바스크립트의 첫 시제품은 10일이 걸렸습니다. 세샨은 이 프로젝트들이 AI 없이 해낸 일이라면 지금의 도구로는 그런 일이 기하급수로 늘어나야 하지 않느냐고 물었습니다.

다른 사람의 야망을 끌어올리고 무엇이 가능한지 일깨우는 일이 이제 PM 역할의 큰 부분입니다.— 타라 세샨, 오픈AI 코덱스·ChatGPT Work 제품 책임자 (Lenny's Podcast)

그래서 PM은 동료가 이 일정이면 되겠다, 이게 첫 버전이다라고 할 때 더 야심 찬 버전은 없는지, 더 빨리 해 볼 수는 없는지 묻는 사람이 됩니다. 오픈AI 안에서 도는 구호도 같은 쪽입니다. 레니가 이 방송에 나온 닉 털리에게서 들은 「이건 최대로 가속된 건가(Is this maximally accelerated?)」, 세샨과 암브로시노가 팀에 묻는 「벌써 달고 사나」에 충분히 야심 찬가를 더해, 세샨은 셋을 제품 개발의 구호로 꼽았습니다. 레니는 「달고 사나」를 도그푸딩(자사 제품을 직접 쓰며 검증하는 일)의 새 이름이라고 불렀습니다.

코덱스와 Work는 무엇이 다른가

ChatGPT 앱에서는 위쪽 메뉴에서 ChatGPT와 코덱스를 고르고, ChatGPT 안에서 다시 Chat과 Work를 고릅니다. 레니가 이 선택지들을 풀어 달라고 하자 세샨은 사용자가 이런 선택을 하지 않아도 되는 것이 목표라고 답했습니다. 입력창에 할 일을 적으면 알맞은 하네스와 모델을 알아서 고르는 모습으로, 7월 9일 Work를 공개하며 오픈AI가 밝힌 방향과 같습니다.

지금 두 모드의 차이는 화면에 있습니다. Work 모드의 속은 코덱스이고, 코딩용 화면을 걷어내 작업 도중 워크트리 같은 개발 도구가 튀어나오지 않게 했을 뿐입니다. 코덱스에 재무 모델을 만들어 달라고 해도 Work만큼 해내니 코덱스 사용자가 놓치는 기능은 없고, 모델의 생각 흐름을 보여 줄 때 기술적인 세부를 얼마나 드러내느냐가 다릅니다.

세샨은 이 제품을 AI 제품의 세 시대로 설명했습니다. 첫 시대는 채팅, 두 번째 시대는 주로 코딩 에이전트와 함께 일하는 에이전트의 시대이고, 곧 올 수 있는 세 번째 시대는 계속 곁에 남아 사람들과 함께 일을 끝내는 AI 동료입니다. Work를 웹과 데스크톱 앱에 넣은 목적은 ChatGPT를 쓰는 10억 명에게 에이전트를 가져다주는 것이고, 하네스 같은 개념을 몰라도 쓰게 만드는 일이 지금의 제품 과제라고 했습니다.

"안에서 달라진 것은 없다"

레니는 최근 몇 달 사이 X에서 분위기가 Claude Code에서 코덱스로 넘어왔다며 안에서 무엇을 바꿨느냐고 물었습니다. 세샨은 깨달음 전에도 나무를 하고 물을 긷고, 깨달음 뒤에도 나무를 하고 물을 긷는다는 선불교 문구로 답을 시작했습니다. 코덱스 앱을 처음 만든 팀은 처음부터 사용자에 집중해 짧은 주기로 고치고 앱을 온종일 직접 썼으며, 달라진 것은 바깥에서 그걸 알아보기 시작했다는 점이라는 설명입니다.

공은 팀에 돌렸습니다. 데스크톱 팀은 거의 모두가 창업자처럼 움직여서 나아질 곳을 보면 스스로 만들고, 사내에서 쓰이지 않으면 고친 뒤에야 밖에 내놓는다고 했습니다. 같은 기간 바깥으로 드러난 숫자는 이렇습니다.

세샨의 말대로 팀이 일하는 방식이 그대로였다 해도, 같은 기간 모델과 앱과 사용 한도는 여러 번 달라졌습니다. 소티오는 7월 9일부터 8월 23일까지 전체 사용자나 유료 사용자 전체를 대상으로 한 한도 초기화를 X로 17번 알렸습니다. 분위기 변화가 팀의 일하는 방식에서 왔는지, 새 모델과 잦은 한도 초기화에서 왔는지를 가를 자료는 없습니다. Claude Code와 코덱스의 사용자를 같은 기준으로 잰 공개 자료도 찾지 못했습니다.

슬랙에 돌던 코덱스 스크린샷

앞으로 3~6개월 안에 일하는 방식이 어떻게 달라질지 묻자 세샨은 두 가지를 들었습니다. 하나는 에이전트에게 더 큰 단위의 일을 맡기고 동료처럼 정해진 주기마다 진행 중인 작업을 맞춰 보는 방식입니다. 다른 하나는 여럿이 함께 쓰는 에이전트입니다. 지금까지 에이전트와의 일은 대부분 일대일이어서, 한때 사내에서는 모두가 자기 코덱스 대화의 스크린샷을 슬랙으로 주고받았다고 합니다. 세샨은 이것을 함께 일하는 자연스러운 방식으로 보지 않았습니다.

방송 10일 전인 8월 20일(미국 시각) 오픈AI는 데스크톱 앱에서 Work와 코덱스 대화를 읽기 전용으로 공유하는 기능을 내놓았습니다. 세샨은 코덱스 대화 스크린샷을 슬랙으로 보내 본 사람을 위한 기능이라며 소식을 다시 올렸습니다. 같은 날 Sites에는 동료를 편집자로 넣어 함께 만들고 배포하는 기능이 붙었습니다. 세샨은 방송에서 여럿이 에이전트와 함께 일하는 가장 자연스러운 화면이 무엇인지 고민하고 있다고 했습니다.

클라우드 에이전트를 쓸모 있게 만드는 데는 지능 말고도 갖출 것이 많다고 했습니다. 인프라를 쌓고 회사의 여러 시스템에 닿게 해야 하는데, 새로 뽑은 동료를 구글 문서도 슬랙도 못 쓰게 방에 가둬 두면 쓸모가 없는 것과 같다는 비유입니다. 방송 끝에는 휴대폰에서 Work에 일을 맡기고 지하철을 오래 타면, 전파가 끊긴 사이에도 클라우드에서 일이 끝나 있다고 소개했습니다.

보고하는 글은 맡기고, 생각하는 글은 직접 쓴다

세샨을 잘 아는 브리 울프슨은 레니에게 「타라의 브리프는 전설적」이라며 글쓰기를 물어보라고 권했습니다. 세샨은 회사에서 쓰는 글을 둘로 나눴습니다. 주간 현황이나 출시 계획처럼 보고하는 글은 모델에 기꺼이 맡기고, 이 제품을 왜 만들어야 하는지 주장하는 브리프처럼 생각하는 글은 자동화하지 않습니다. 개요를 잡고 문장으로 풀고 잘라 내며 고치는 과정이 곧 생각을 정리하는 단계라서입니다. 모델을 늘 쓴다거나 절대 안 쓴다는 일괄 규칙은 둘 다 틀렸다고 봤습니다.

보고하는 글은 기꺼이 자동화합니다. 하지만 생각하는 글은 절대 자동화하지 않을 겁니다.— 타라 세샨, 오픈AI 코덱스·ChatGPT Work 제품 책임자 (Lenny's Podcast)

달라진 것은 남에게 보여 주는 결과물입니다. 스트라이프는 브리프 한 편이 사내에서 입소문을 탈 만큼 글쓰기를 중시하는 곳이었지만, 세샨은 긴 문서가 이제 생각을 끝냈다는 증거로 통하지 않는다고 했습니다. 생각하지 않고도 긴 문서를 쉽게 만들 수 있기 때문입니다. 요즘은 문서 대신 목업과 시제품을 들고 가고, A/B 시험 결과까지 붙이면 더 좋다고 했습니다. 문서는 지금도 수백 편씩 쓰지만 자기를 위해 씁니다.

그 결과물로 자주 쓰는 것이 Sites입니다. 프롬프트로 만들어 오픈AI가 호스팅하는 웹페이지로, 공개와 팀 공유, 비공개를 고를 수 있고 데이터베이스도 붙습니다. 세샨은 팀이 함께 하는 게임을 만들었고, 배낭여행 때는 경로의 고도를 보여 주고 일행이 먹을거리를 적어 넣는 사이트를 만들었다고 했습니다. 레니가 대화 도중 만들게 한 세샨 소개 사이트는 방송 후반에 완성됐는데, 맨 위에 세샨이 19살 무렵 찍은 스트라이프 사원증 사진이 올라가 있었습니다.

AI에 기대다 생각하는 힘이 줄지 않느냐는 물음에는 개인 규칙을 소개했습니다. 남에게 문서를 읽힐 거라면 읽는 사람들이 쓸 시간을 합친 만큼 먼저 들여 쓰고, 회의를 소집하면 참석자들이 쓸 시간을 합친 만큼 미리 준비합니다. 문장을 다듬는 일도 첫 초안도 모델에 맡기지 않고, 중간에 자료를 찾거나 반론을 구할 때만 모델을 씁니다. 시작도 끝도 직접 쓴다는 원칙입니다.

글쓰기를 생각과 같은 일로 보는 쪽에서는 더 어두운 전망도 나왔습니다. 폴 그레이엄은 2024년 10월 에세이에서 AI가 글쓰기의 압박을 거의 없앤 탓에 20년쯤 뒤에는 글을 쓸 줄 아는 사람이 많지 않을 거라고 내다봤습니다. 글쓰기가 곧 생각이라서, 산업화 이후 운동을 고른 사람만 힘이 세듯 앞으로는 쓰기를 스스로 고른 사람만 똑똑하게 남는다는 주장입니다.

MIT 미디어랩 연구진이 2025년 6월 arXiv에 올린 연구는 같은 문제를 뇌파로 쟀습니다. 참가자 54명을 ChatGPT를 쓰는 조, 검색 엔진을 쓰는 조, 도구 없이 쓰는 조로 나눠 4개월 동안 에세이를 쓰게 했더니, 도구 없이 쓴 조의 뇌 연결망이 가장 강하고 ChatGPT 조가 가장 약했습니다. ChatGPT 조는 자기 에세이를 정확히 인용하지 못했습니다. 네 번째 시간에 조건을 맞바꾸자 혼자 쓰다가 ChatGPT를 쓰게 된 참가자들은 기억 회상이 좋았고, 반대로 옮긴 참가자들은 연결성이 낮았습니다. 혼자 먼저 쓰고 도구를 나중에 붙인 쪽이 나았다는 결과는 세샨의 순서와 같은 방향이지만, 네 번째 시간까지 남은 사람은 18명입니다.

테스트가 없는 지식노동

세샨이 대화 막바지에 따로 꺼낸 이야기는 지식노동이 코딩과 근본적으로 다르다는 점이었습니다. 코딩은 결과를 테스트로 확인하고 직접 돌려 볼 수 있습니다. 지식노동은 발표 자료에 성공률 90%라고 적혀 있어도 어떤 자료를 넣었고 어떤 추론을 거쳤는지 과정을 보고서야 믿을 수 있습니다. 그래서 ChatGPT가 진행 중인 작업과 인용, 입력을 보여 주는 협업자가 되게 하는 일이 남은 과제이고, 코딩에 맞춰 만든 대화 스레드 화면이 지식노동에도 맞는지는 아직 큰 물음이라고 했습니다.

이 검증이 얼마나 비싼지는 오픈AI가 2025년 10월 arXiv에 올린 GDPval 논문에 숫자로 나옵니다. 미국 GDP 상위 9개 산업의 44개 직업에서 실제 업무를 과제로 만든 벤치마크인데, 과제 하나를 전문가가 끝내는 데 평균 7시간이 걸립니다. 채점은 테스트 코드 대신 같은 직업의 전문가가 누가 만들었는지 가린 결과물 둘을 비교해 더 나은 쪽을 고르는 방식이고, 비교 한 건에 평균 1시간 넘게 걸렸습니다.

전문가 두 사람의 판단이 일치한 비율은 71%였고, 오픈AI가 만든 자동 채점기와 전문가의 일치율은 66%였습니다. 같은 분야 전문가끼리도 열에 셋은 판단이 갈린다는 이야기입니다. 오픈AI는 이 자동 채점기를 전문가 채점의 완전한 대체물로 보지 않는다고 논문에 적었습니다.

아직 답이 없는 물음

세샨 스스로 답을 못 냈다고 한 물음도 있습니다. 엔지니어가 PM 일을 하고 PM이 시제품을 만드는 경계 없는 팀을 좋아하지만, 그러면 PM이라는 직무의 기술을 갈고닦는 일은 어떻게 되느냐는 물음입니다. 엔지니어들이 손으로 코드를 쓰던 몰입을 그리워하듯 기술의 일부는 모델이 가져가고, 남은 기술은 제품의 다른 부분에 쓰인다는 데까지가 지금의 생각이라고 했습니다.

세 번째 시대의 AI 동료는 세샨의 말로도 아직 곧 올 수 있는 것입니다. 지금 쓸 수 있는 것은 ChatGPT 웹의 Work 전환 버튼과 휴대폰 앱, 데스크톱 앱이고, 7월 발표문에 따르면 맥과 윈도용 데스크톱 앱은 전 세계에 나와 무료 요금제를 포함한 모든 요금제에서 Chat과 Work, 코덱스를 쓸 수 있습니다. 세샨이 처음 써 보는 사람에게 권한 과제는 자기를 소개하는 사이트를 만들어 보는 것과, 코덱스의 /visualize 명령으로 자기 ChatGPT 사용 기록을 그려 보는 것이었습니다.

읽어 주셔서 고맙습니다.

초이 드림