추론 비용

오픈AI가 일부 모델의 추론 비용을 소프트웨어만으로 절반 이상 줄였습니다.

1. 1

   로그아웃 트래픽, 그러니까 로그인 없이 쓰는 무료 사용자 전체가 이제 GPU 수백 개로 돌아간다고 합니다.

2. 2

   사용량은 최대인데 돈은 안 되던 구간이라 의미가 큽니다.

3. 3

   추론 비용은 오픈AI 마진을 2024년 40%에서 2025년 33%로 끌어내린 주범입니다.

4. 4

   이걸 절반으로 줄이면 마진이 바로 오르고, 무료 한도 확대나 API 가격 인하 여력도 생깁니다.

5. 5

   소문으로는 메모리 효율을 크게 높인 새 아키텍처도 곧 나온다고 하니, 경쟁 축이 GPU 물량보다 '칩당 토큰 효율'에 놓일 것 같습니다.

6. 6

   효율화가 나오면 메모리 수요 붕괴론이 붙지만, 제번스 역설처럼 싸지면 쓰임이 늘어 전체 수요는 커지는 구조로 발전해왔습니다.

7. 7

   앞으로 이런 소식이 더 잦아질 텐데, 지금은 DRAM·HBM 값이 최대 규모라 큰 발표 하나에 메모리주가 단기 출렁일 수 있습니다.

8. 8

   메모리 시장 움직임을 예의주시하고 있습니다.