Bits, Bytes and Neural Networks
A Data Scientist's Digital Playground
-
Mixtral of Experts
Mixtral 8x7B는 층마다 8개 전문가 중 2개를 고르는 희소 전문가 혼합 모델로, 총 47B 중 13B만 활성화하고도 대부분의 벤치마크에서 Llama 2 70B·GPT-3.5와 같거나 앞섭니다. 라우팅 구조와 학습 과정을 정리합니다.
-
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
DeepSeekMath는 Common Crawl에서 1,200억 개 수학 토큰을 모으고 GRPO로 강화 학습해, 7B 모델로 MATH 정확도 51.7%를 기록했습니다. 데이터 선택 파이프라인과 비평 모델 없이 동작하는 GRPO의 원리를 정리합니다.
-
Mistral 7B
Mistral 7B는 그룹 쿼리 어텐션과 슬라이딩 윈도우 어텐션을 갖춰, 거의 모든 벤치마크에서 Llama 2 13B를, 추론·수학·코드에서 Llama 1 34B를 앞섭니다. 롤링 버퍼 캐시와 청킹을 포함한 아키텍처와 평가 결과를 정리합니다.
-
RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval
RAPTOR는 텍스트 청크를 재귀적으로 임베딩·클러스터링·요약해 여러 추상화 수준의 트리를 만들고 검색에 씁니다. GPT-4와 결합해 QuALITY에서 기존 최고 정확도를 20%포인트 높였습니다. 트리 구축과 축소된 트리 검색 방식을 정리합니다.
-
DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence
DeepSeek-Coder는 87개 프로그래밍 언어의 2조 토큰을 저장소 단위로 구성하고 FIM과 16K 컨텍스트로 1.3B~33B 코드 모델을 학습했습니다. Instruct 33B는 대부분의 벤치마크에서 GPT-3.5 Turbo를 앞섰습니다. 데이터 구축과 학습 전략을 정리합니다.