배치 처리
batching · 요청 묶음
여러 요청을 한 번에 묶어 처리해 GPU를 놀리지 않게 하는 방식입니다. 처리량은 올라가지만 먼저 온 요청이 뒤에 온 요청을 기다리게 되어 지연이 늘 수 있습니다.
어려운 말은 풀어서, 매주 한 통
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.
batching · 요청 묶음
여러 요청을 한 번에 묶어 처리해 GPU를 놀리지 않게 하는 방식입니다. 처리량은 올라가지만 먼저 온 요청이 뒤에 온 요청을 기다리게 되어 지연이 늘 수 있습니다.
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.