증류
distillation · 지식 증류
큰 모델의 출력을 교본 삼아 작은 모델을 가르치는 방법입니다. 성능을 상당히 물려받으면서 크기와 추론 비용을 줄일 수 있습니다.
‘증류’ 이 나오는 글12
소식AI
오픈AI도 문샷 지목, 막힌 추론 빼내기는 애저에선 9월 27일까지 통했습니다
오픈AI가 9월 30일(미국 시각) 문샷AI 관련자들이 낀 증류 캠페인을 막았다고 밝혔습니다. 7월 24~25일 사용자 4,000명 넘게 추출 요청 1만 6,000건을 보냈고, 연구진은 같은 수법이 애저에서는 9월 27일까지 통했다고 공개했습니다.
15분
함께 나오는 용어5
- 추론학습이 끝난 모델을 실제로 돌려 답을 만드는 단계입니다. 비용·속도·지연 시간 이야기는 대부분 여기서 나옵니다.
- 오픈웨이트학습이 끝난 모델의 가중치 파일을 내려받아 직접 돌릴 수 있게 푼 것입니다. 소스 전체를 여는 오픈소스와 다르고, 내려받을 수 있다는 말과 상업적으로 써도 된다는 말도 다릅니다. 라이선스를 따로 봐야 합니다.
- 파라미터모델 안의 숫자(가중치) 개수입니다. '7B'는 70억 개를 가리키고, 대체로 클수록 똑똑하지만 비쌉니다.
- 토큰모델이 텍스트 등을 나누어 처리하는 단위입니다. 단어 전체, 단어의 일부, 문자나 기호가 토큰으로 나뉠 수 있으며, 같은 문장도 토크나이저와 언어에 따라 개수가 달라집니다. 글자 수와 고정된 비율로 대응하지 않습니다. 입력·출력 토큰 수는 컨텍스트 한도와 API 과금의 기준으로 쓰입니다.
- 오픈 웨이트학습된 가중치 파일을 공개해 누구나 내려받아 돌릴 수 있는 모델입니다. 학습 데이터·코드까지 다 여는 '오픈 소스'와는 구분합니다.
