Bits, Bytes and Neural Networks
A Data Scientist's Digital Playground
-
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
DeepSeekMoE는 세밀한 전문가 분할과 공유 전문가 분리로 MoE의 지식 혼재와 중복 문제를 줄입니다. 16B 모델은 LLaMA2 7B의 약 40% 계산량으로 대등한 성능을 냈고 145B까지 확장했습니다. 구조와 부하 균형 기법을 정리합니다.
-
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
DeepSeek LLM은 비임베딩 FLOPs/토큰으로 모델 규모를 나타내 스케일링 법칙을 다시 세우고 2조 토큰으로 7B·67B 모델을 학습했습니다. 67B는 코드·수학·추론에서 LLaMA-2 70B를 앞섰습니다. 스케일링 분석과 학습 과정을 정리합니다.
-
LLaMA: Open and Efficient Foundation Language Models
LLaMA는 공개 데이터만으로 7B~65B 모델을 1.4T 토큰까지 학습해, 13B 모델이 대부분의 벤치마크에서 GPT-3(175B)를 앞서고 65B 모델이 PaLM-540B와 견줄 성능을 냈습니다. 데이터 구성, 아키텍처 개선과 학습 효율화 방법을 정리합니다.
-
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2는 7B~70B 규모로 2조 토큰을 사전학습하고 SFT와 RLHF, 고스트 어텐션(GAtt)으로 대화 모델 Llama 2-Chat을 만들었습니다. 350명 이상의 레드팀이 안전성을 시험했습니다. 학습 과정과 안전성 강화 방법을 정리합니다.
-
From Local to Global: A Graph RAG Approach to Query-Focused Summarization
Graph RAG는 LLM으로 엔티티 지식 그래프와 커뮤니티 요약을 미리 만들어 전역 질문에 맵-리듀스로 답합니다. 기존 RAG보다 포괄성과 다양성에서 앞섰고, 루트 레벨 요약은 원문 요약보다 토큰을 97% 이상 덜 씁니다. 색인 구축과 평가를 정리합니다.