Skip to content
Bits, Bytes and Neural Networks
  • About
  • Summaries
  • Reviews
  • Surveys
  • Tech Guides
  • Insights
  • Search

Bits, Bytes and Neural Networks

A Data Scientist's Digital Playground

  • DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models

    DeepSeek-V3.2는 DeepSeek Sparse Attention, 사전 훈련 비용의 10%를 넘는 강화학습, 에이전트 작업 합성을 결합했습니다. Speciale 변형은 IMO 2025에서 42점 중 35점을 받았습니다. 세 기술과 벤치마크 결과를 정리합니다.

    January 12, 2026
    in Paper Reviews, Language Models
  • QLoRA: Efficient Finetuning of Quantized LLMs

    QLoRA는 4비트 NF4 양자화, Double Quantization, Paged Optimizers로 65B 모델을 단일 48GB GPU에서 파인튜닝합니다. Guanaco는 Vicuna 벤치마크에서 ChatGPT 대비 99.3%에 도달했습니다. 세 기법과 평가를 정리합니다.

    October 24, 2025
    in Paper Reviews, Finetuning
  • Direct Preference Optimization: Your Language Model is Secretly a Reward Model

    DPO는 RLHF의 보상 모델 학습과 강화학습 루프를 이진 교차 엔트로피 손실 하나로 대체합니다. TL;DR 요약 과제에서 GPT-4 기준 승률 약 61%로 PPO의 57%를 앞섰습니다. 보상 재매개변수화 유도와 세 가지 실험을 정리합니다.

    October 19, 2025
    in Paper Reviews, Finetuning
  • Gemini 2.5: Pushing the Frontier with Advanced Reasoning, Multimodality, Long Context, and Next Generation Agentic Capabilities

    Gemini 2.5는 희소 MoE 트랜스포머에 사고 기능을 더해 최대 100만 토큰 컨텍스트를 지원하고, 2.5 Pro는 3시간 분량 비디오를 처리하며 LiveCodeBench 74.2%, GPQA diamond 86.4%를 기록했습니다. 모델 구성과 훈련, 안전성 평가를 정리합니다.

    October 11, 2025
    in Paper Reviews, Multimodal Learning
  • Gemini: A Family of Highly Capable Multimodal Models

    Gemini는 이미지, 오디오, 비디오, 텍스트를 함께 다루도록 설계된 Ultra, Pro, Nano 모델군으로, Gemini Ultra는 32개 벤치마크 중 30개에서 최고 성능을 경신하고 MMLU 90.04%로 인간 전문가 수준을 넘었습니다. 구조와 평가를 정리합니다.

    October 11, 2025
    in Paper Reviews, Multimodal Learning

Page 4 of 8

Bits, Bytes and Neural Networks

Site Map

  • About
  • Paper Summaries
  • Paper Reviews
  • Paper Surveys
  • Tech Guides
  • Insights
  • Search
  • Categories
  • Tags

Contact

  • aldente0630@gmail.com
  • bits-bytes-nn
  • Jonas Kim
  • aldente0630

Subscribe via RSS · Privacy

In-depth notes on AI/ML papers and technology.