대역폭
bandwidth · 네트워크 대역폭
통신 경로가 일정 시간에 전달할 수 있는 데이터의 용량입니다. 보통 초당 비트 수로 표시합니다. 실제로 전달한 양인 처리량과 구분하며, 용량이 커져도 신호가 이동하는 거리와 왕복 지연이 같은 비율로 줄어들지는 않습니다.
‘대역폭’ 이 나오는 글2
소식AI
메모리는 반, 값은 1년 전 128GB보다 1,000달러 비싼 DGX Spark
엔비디아가 10월 2일(미국 시각) 메모리를 64GB로 줄인 DGX Spark를 발표했습니다. 10월 23일 에이서·에이수스·델 등 6개 제조사가 4,999달러부터 팔고, 1년 전 128GB 모델의 출시가는 3,999달러였습니다.
12분
논문원 논문 공개 AI
HBM으로 센 AI 에이전트 최대 1억 7,100만, 에포크 계산을 뜯어보니
에포크 AI가 10월 2일 HBM 출하량으로 AI 에이전트 수를 셌습니다. 2027년까지 나올 메모리로 프런티어 에이전트 3,300만~1억 7,100만 개를 동시에 돌릴 수 있고, 용량의 20%만 써도 연 2조 6,000억~5조 3,000억 달러어치입니다.
13분
함께 나오는 용어5
- 오픈 웨이트학습된 가중치 파일을 공개해 누구나 내려받아 돌릴 수 있는 모델입니다. 학습 데이터·코드까지 다 여는 '오픈 소스'와는 구분합니다.
- CUDA엔비디아 GPU에서 연산 코드를 짜고 돌리는 소프트웨어 층입니다. 학습과 서빙 도구가 전부 이 위에 쌓여 있어서 다른 칩으로 옮기는 비용이 크고, 세미애널리시스는 이 잠금 효과를 엔비디아의 해자로 부릅니다.
- 파라미터모델 안의 숫자(가중치) 개수입니다. '7B'는 70억 개를 가리키고, 대체로 클수록 똑똑하지만 비쌉니다.
- 토큰모델이 텍스트 등을 나누어 처리하는 단위입니다. 단어 전체, 단어의 일부, 문자나 기호가 토큰으로 나뉠 수 있으며, 같은 문장도 토크나이저와 언어에 따라 개수가 달라집니다. 글자 수와 고정된 비율로 대응하지 않습니다. 입력·출력 토큰 수는 컨텍스트 한도와 API 과금의 기준으로 쓰입니다.
- 프런티어 모델그 시점에 공개된 모델 가운데 능력이 가장 앞선 등급을 가리킵니다. 각국 안전연구소의 평가 대상과 수출통제 논의가 이 등급을 기준으로 짜입니다.
어려운 말은 풀어서, 매주 한 통
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.