Skip to content
Bits, Bytes and Neural Networks
  • About
  • Summaries
  • Reviews
  • Surveys
  • Tech Guides
  • Insights
  • Search

Bits, Bytes and Neural Networks

A Data Scientist's Digital Playground

  • Mixtral of Experts

    Mixtral 8x7B는 층마다 8개 전문가 중 2개를 고르는 희소 전문가 혼합 모델로, 총 47B 중 13B만 활성화하고도 대부분의 벤치마크에서 Llama 2 70B·GPT-3.5와 같거나 앞섭니다. 라우팅 구조와 학습 과정을 정리합니다.

    April 4, 2025
    in Paper Reviews, Language Models
  • DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models

    DeepSeekMath는 Common Crawl에서 1,200억 개 수학 토큰을 모으고 GRPO로 강화 학습해, 7B 모델로 MATH 정확도 51.7%를 기록했습니다. 데이터 선택 파이프라인과 비평 모델 없이 동작하는 GRPO의 원리를 정리합니다.

    February 28, 2025
    in Paper Reviews, Language Models
  • Mistral 7B

    Mistral 7B는 그룹 쿼리 어텐션과 슬라이딩 윈도우 어텐션을 갖춰, 거의 모든 벤치마크에서 Llama 2 13B를, 추론·수학·코드에서 Llama 1 34B를 앞섭니다. 롤링 버퍼 캐시와 청킹을 포함한 아키텍처와 평가 결과를 정리합니다.

    February 27, 2025
    in Paper Reviews, Language Models
  • RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

    RAPTOR는 텍스트 청크를 재귀적으로 임베딩·클러스터링·요약해 여러 추상화 수준의 트리를 만들고 검색에 씁니다. GPT-4와 결합해 QuALITY에서 기존 최고 정확도를 20%포인트 높였습니다. 트리 구축과 축소된 트리 검색 방식을 정리합니다.

    February 14, 2025
    in Paper Reviews, Retrieval Augmented Generation
  • DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence

    DeepSeek-Coder는 87개 프로그래밍 언어의 2조 토큰을 저장소 단위로 구성하고 FIM과 16K 컨텍스트로 1.3B~33B 코드 모델을 학습했습니다. Instruct 33B는 대부분의 벤치마크에서 GPT-3.5 Turbo를 앞섰습니다. 데이터 구축과 학습 전략을 정리합니다.

    February 14, 2025
    in Paper Reviews, Language Models

Page 7 of 8

Bits, Bytes and Neural Networks

Site Map

  • About
  • Paper Summaries
  • Paper Reviews
  • Paper Surveys
  • Tech Guides
  • Insights
  • Search
  • Categories
  • Tags

Contact

  • aldente0630@gmail.com
  • bits-bytes-nn
  • Jonas Kim
  • aldente0630

Subscribe via RSS · Privacy

In-depth notes on AI/ML papers and technology.