Bits, Bytes and Neural Networks

Gemini는 이미지, 오디오, 비디오, 텍스트를 함께 다루도록 설계된 Ultra, Pro, Nano 모델군으로, Gemini Ultra는 32개 벤치마크 중 30개에서 최고 성능을 경신하고 MMLU 90.04%로 인간 전문가 수준을 넘었습니다. 구조와 평가를 정리합니다.

Mistral 7B는 그룹 쿼리 어텐션과 슬라이딩 윈도우 어텐션을 갖춰, 거의 모든 벤치마크에서 Llama 2 13B를, 추론·수학·코드에서 Llama 1 34B를 앞섭니다. 롤링 버퍼 캐시와 청킹을 포함한 아키텍처와 평가 결과를 정리합니다.

Llama 2는 7B~70B 규모로 2조 토큰을 사전학습하고 SFT와 RLHF, 고스트 어텐션(GAtt)으로 대화 모델 Llama 2-Chat을 만들었습니다. 350명 이상의 레드팀이 안전성을 시험했습니다. 학습 과정과 안전성 강화 방법을 정리합니다.

DPO는 RLHF의 보상 모델 학습과 강화학습 루프를 이진 교차 엔트로피 손실 하나로 대체합니다. TL;DR 요약 과제에서 GPT-4 기준 승률 약 61%로 PPO의 57%를 앞섰습니다. 보상 재매개변수화 유도와 세 가지 실험을 정리합니다.

QLoRA는 4비트 NF4 양자화, Double Quantization, Paged Optimizers로 65B 모델을 단일 48GB GPU에서 파인튜닝합니다. Guanaco는 Vicuna 벤치마크에서 ChatGPT 대비 99.3%에 도달했습니다. 세 기법과 평가를 정리합니다.