추론

테크크런치가 한국 시각 10월 6일 새벽, AI 추론 칩 스타트업 에치드(Etched)가 기업가치 400억~500억 달러를 제시한 투자 제안들을 검토하고 있다고 보도했습니다.

제인스트리트가 주도한 7억 달러 투자로 210억 달러 기업가치를 인정받은 지 약 2개월 만에 두 배가 넘는 값의 제안이 들어왔습니다.

상위권 투자사는 400억 달러, 덜 알려진 투자사는 500억 달러를 제시했으며, 논의는 초기 단계라고 소식통은 전했습니다.

오픈AI가 한국 시각 10월 1일 새벽 자사 모델의 숨겨진 추론을 빼내려던 조직적 증류(다른 모델의 출력으로 자기 모델을 학습시키는 일) 시도를 차단했다고 공개했습니다.

7월 1일 소량으로 시작한 활동은 7월 24~25일 사용자 4,000명 넘게 보낸 요청 1만 6,000건으로 치솟았고, 오픈AI는 관련 패턴을 보인 사용자 1만 5,000명 넘는 군집을 7월 28일까지 모두 막았습니다.

모든 운영자를 한 주체로 묶을 수는 없지만, 중심 군집은 Kimi를 만든 문샷AI 관련자들로 본다고 밝혔습니다.

나델라는 「궁극적으로는 추론이 지배적이어야 한다.

그렇지 않다면 도대체 무엇을 위해 훈련하는가」라고 말했습니다.

모델 훈련은 연구개발 비용이고, 손익계산서에서 매출을 만드는 엔진은 추론이라는 설명입니다.

그는 「우리 모두는 손익계산서라는 물리 법칙의 지배를 받는다」며, 한때 큰 자본을 쏟아 모델을 훈련할 수는 있어도 길게 보면 추론 매출의 일정 비율만 훈련에 다시 투자할 수 있다고 했습니다.

JING은 사용자의 행동과 참고 이미지, 이전 상황을 바탕으로 다음 화면을 실시간으로 만듭니다.

카메라를 움직여 공간을 돌아다니고 물체를 건드리거나 등장인물과 대화할 수 있으며, 이때 영상과 오디오를 함께 생성합니다.

XGEN Labs는 앞서 JING과 세계 상태를 관리하는 DAO를 묶은 Generative World Simulation 구조를 발표했고, 이번에 그중 JING을 허깅페이스에 올렸습니다.

Husky는 Woof 모델 하나에 맞춰 설계한 MSI(모델 전용 추론) 방식 엔진입니다.

모델 구조를 미리 알기 때문에 정규화, 4비트 압축 해제, 행렬 연산을 GPU 작업 하나로 묶어 CPU와 GPU가 오가는 비용을 줄였습니다.

맥북에서 Woof를 최대 초당 730토큰으로 돌리고, 인터넷 연결 없이 맥과 아이폰에서 구동합니다.

대상은 30개가 넘는 오픈소스 바이오 모델이고, 단순 설정 변경에 더해 GPU용 커스텀 커널까지 Claude가 직접 작성했습니다.

4주도 안 돼 구조 예측·단백질 설계·유전체 모델까지 최적화했습니다.

비용도 줄었습니다.

기존 단백질 설계 실험과 비슷한 결과를 약 100분의 1 수준 GPU 사용량으로 재현했다고 합니다.