CUDA
쿠다 · CUDA 해자
엔비디아 GPU에서 연산 코드를 짜고 돌리는 소프트웨어 층입니다. 학습과 서빙 도구가 전부 이 위에 쌓여 있어서 다른 칩으로 옮기는 비용이 크고, 세미애널리시스는 이 잠금 효과를 엔비디아의 해자로 부릅니다.
‘CUDA’ 이 나오는 글3
소식AI
메모리는 반, 값은 1년 전 128GB보다 1,000달러 비싼 DGX Spark
엔비디아가 10월 2일(미국 시각) 메모리를 64GB로 줄인 DGX Spark를 발표했습니다. 10월 23일 에이서·에이수스·델 등 6개 제조사가 4,999달러부터 팔고, 1년 전 128GB 모델의 출시가는 3,999달러였습니다.
12분
소식AI
칩 파는 엔비디아가 오픈AI 20년 임대에 최대 1,050억 달러 보증을 섰습니다
엔비디아가 8월 17일 공시한 임대차 보증의 한도는 1,050억 달러로, 지난 회계연도 매출 2,159억 달러의 절반에 가깝습니다. 보증 대상은 SB에너지가 오픈AI에 20년 동안 빌려주는 데이터센터 임대차이고, 오픈AI의 신용등급이 충분히 오르면 보증은 끝납니다.
11분
아티클AI
AMD에 0%를 줬던 세미애널리시스, '승산 크다'며 조건 두 개를 달았습니다
세미애널리시스가 AMD의 성공 확률을 0%에서 「승산이 크다」로 올리며 조건 두 개를 달았습니다. 랙 한 대에 리타이머가 550개 넘게 들어가는 Helios 조립, 엔비디아의 10분의 1에도 못 미치는 사내 GPU 클러스터입니다.
14분
함께 나오는 용어5
- 오픈 웨이트학습된 가중치 파일을 공개해 누구나 내려받아 돌릴 수 있는 모델입니다. 학습 데이터·코드까지 다 여는 '오픈 소스'와는 구분합니다.
- 파라미터모델 안의 숫자(가중치) 개수입니다. '7B'는 70억 개를 가리키고, 대체로 클수록 똑똑하지만 비쌉니다.
- 대역폭통신 경로가 일정 시간에 전달할 수 있는 데이터의 용량입니다. 보통 초당 비트 수로 표시합니다. 실제로 전달한 양인 처리량과 구분하며, 용량이 커져도 신호가 이동하는 거리와 왕복 지연이 같은 비율로 줄어들지는 않습니다.
- 토큰모델이 텍스트 등을 나누어 처리하는 단위입니다. 단어 전체, 단어의 일부, 문자나 기호가 토큰으로 나뉠 수 있으며, 같은 문장도 토크나이저와 언어에 따라 개수가 달라집니다. 글자 수와 고정된 비율로 대응하지 않습니다. 입력·출력 토큰 수는 컨텍스트 한도와 API 과금의 기준으로 쓰입니다.
- 데이터센터모델을 학습하고 서빙하는 GPU와 전력, 냉각 설비를 묶은 건물입니다. 요즘은 규모를 칩 개수 대신 기가와트로 말하는데, 부지 허가와 송전망 연결이 칩 조달보다 훨씬 느리게 움직이기 때문입니다. 뉴멕시코와 와이오밍에서는 건설 지출의 60%가 데이터센터에서 나왔습니다.
어려운 말은 풀어서, 매주 한 통
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.