양자화
quantization
가중치 숫자의 정밀도를 낮춰(예: 16비트→4비트) 모델을 작고 빠르게 만드는 기술입니다. 노트북에서 큰 모델을 돌릴 때 필수입니다.
quantization
가중치 숫자의 정밀도를 낮춰(예: 16비트→4비트) 모델을 작고 빠르게 만드는 기술입니다. 노트북에서 큰 모델을 돌릴 때 필수입니다.
과기정통부가 8월 18일 독파모 2차 결과를 발표했습니다. 벤치마크 40점의 1위·4위 격차는 4.0점, 사용자 평가 25점의 격차는 5.0점이었고, 국내 모델 가운데 AAII가 가장 높은 Motif 3가 탈락했습니다.
업스테이지가 7월 22일 독파모 2차 모델 Solar Open 2를 오픈웨이트로 공개했습니다. 하이브리드 어텐션으로 100만 토큰을 받고, 노타AI의 양자화판은 117.8GB로 줄어 H100 두 장에 올라갑니다. 기록을 밖으로 보낼 수 없는 조직을 겨냥했습니다.
과기정통부가 8월 18일 독파모 2차 결과를 발표했습니다. 벤치마크 40점의 1위·4위 격차는 4.0점, 사용자 평가 25점의 격차는 5.0점이었고, 국내 모델 가운데 AAII가 가장 높은 Motif 3가 탈락했습니다.
업스테이지가 7월 22일 독파모 2차 모델 Solar Open 2를 오픈웨이트로 공개했습니다. 하이브리드 어텐션으로 100만 토큰을 받고, 노타AI의 양자화판은 117.8GB로 줄어 H100 두 장에 올라갑니다. 기록을 밖으로 보낼 수 없는 조직을 겨냥했습니다.
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.
