오프로딩
offloading · 메모리 오프로딩
GPU 메모리에 다 올릴 수 없는 부분을 CPU 쪽 메모리로 내려 두고 필요할 때 가져오는 방식입니다. 더 작은 카드에서 큰 모델을 돌릴 수 있게 해 주지만 속도는 느려집니다.
어려운 말은 풀어서, 매주 한 통
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.
offloading · 메모리 오프로딩
GPU 메모리에 다 올릴 수 없는 부분을 CPU 쪽 메모리로 내려 두고 필요할 때 가져오는 방식입니다. 더 작은 카드에서 큰 모델을 돌릴 수 있게 해 주지만 속도는 느려집니다.
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.