All-Reduce
AllReduce · all-reduce · 올리듀스
여러 프로세스가 가진 값을 합계 같은 연산으로 결합하고, 같은 결과를 참여한 모든 프로세스가 받는 집단 통신 연산입니다. 분산 학습에서는 GPU별로 계산한 기울기를 합치는 데 쓰입니다. 많은 데이터를 전달하는 능력뿐 아니라 통신 지연과 느린 참여자도 전체 시간에 영향을 줍니다.
어려운 말은 풀어서, 매주 한 통
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.