프리필과 디코드
prefill · decode · 디코드 단계
모델이 입력을 한꺼번에 계산하는 프리필 단계와 답을 한 토큰씩 만드는 디코드 단계입니다. 프리필은 연산 성능에, 디코드는 메모리 대역폭에 좌우돼서 두 단계를 서로 다른 칩 풀에 나눠 맡기는 운영이 늘었습니다. AMD와 세레브라스 제휴는 프리필을 AMD 랙이, 디코드를 웨이퍼 스케일 엔진이 받는 구성입니다.
어려운 말은 풀어서, 매주 한 통
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.