TL;DR

이 연구를 시작하게 된 배경과 동기는 무엇입니까?

대규모 언어 모델의 발전은 인공지능 분야에서 가장 중요한 연구 주제 중 하나로 자리 잡았습니다. 기존의 언어 모델들은 여러 가지 한계점을 가지고 있었는데, 특히 데이터 품질, 모델 규모, 그리고 다국어 및 다중 모달 능력에서 제한적이었습니다. Meta AI 연구팀은 이러한 한계를 극복하고 더욱 강력하고 유연한 언어 모델을 개발하고자 Llama 3 프로젝트를 시작했습니다.

연구팀은 기존 언어 모델들이 충분히 다양하고 고품질의 훈련 데이터를 확보하지 못했다는 점에 주목했습니다. 또한 모델의 규모와 훈련 토큰 수 사이의 최적 균형을 찾는 것이 중요하다고 판단했습니다. 이를 통해 더 나은 성능과 더 광범위한 언어 이해 능력을 가진 모델을 개발할 수 있을 것으로 기대했습니다.

이 연구에서 제시하는 새로운 해결 방법은 무엇입니까?

Llama 3의 핵심 혁신은 데이터 큐레이션, 모델 스케일링, 그리고 다중 모달 접근법에 있습니다. 연구팀은 약 15조 개의 다국어 토큰으로 구성된 코퍼스를 사용하여 모델을 사전 훈련했으며, 이는 이전 Llama 2의 1.8조 토큰과 비교해 상당한 증가입니다. 특히 데이터 품질에 중점을 두어 웹 데이터를 철저히 정제하고 필터링하는 혁신적인 방법을 개발했습니다.

모델 아키텍처 측면에서는 기존의 조밀한 트랜스포머 구조를 유지하면서, 그룹화된 쿼리 어텐션(GQA)과 같은 효율적인 기법을 도입했습니다. 최대 128K 토큰의 컨텍스트 윈도우를 지원하고, 8B, 70B, 405B 등 다양한 규모의 모델을 개발하여 다양한 사용 사례에 대응할 수 있도록 설계했습니다.

다중 모달 접근법에서는 이미지, 비디오, 음성 처리를 위한 혁신적인 어댑터 아키텍처를 제안했습니다. 이 접근법은 기존 언어 모델에 새로운 모달리티를 통합할 때 발생할 수 있는 복잡성을 최소화하면서도 효과적인 다중 모달 학습을 가능하게 합니다.

제안된 방법은 어떻게 구현되었습니까?

Llama 3의 구현은 크게 사전 훈련, 사후 훈련, 그리고 다중 모달 통합의 세 단계로 나눌 수 있습니다. 사전 훈련 단계에서는 웹 데이터를 정제하는 복잡한 파이프라인을 개발했습니다. 개인 식별 정보(PII) 제거, 중복 데이터 제거, 언어 식별, 품질 필터링 등 다양한 기법을 적용하여 고품질 훈련 데이터를 확보했습니다.

사후 훈련 과정에서는 지도 학습 미세조정(SFT)과 직접 선호도 최적화(DPO)를 통해 모델의 성능을 향상시켰습니다. 특히 코드 생성, 다국어 지원, 수학적 추론, 도구 사용 등 특정 능력을 개선하기 위해 맞춤형 데이터 수집 및 훈련 전략을 개발했습니다.

다중 모달 통합을 위해 이미지, 비디오, 음성 인코더를 언어 모델에 연결하는 혁신적인 어댑터 아키텍처를 설계했습니다. 이미지 인코더의 경우 다층 특성 추출 방법을 사용하여 더 풍부한 시각적 정보를 capture할 수 있도록 했으며, 음성 모듈의 경우 Conformer 모델과 어댑터를 통합하여 효과적인 음성 처리를 구현했습니다.

이 연구의 결과가 가지는 의미는 무엇입니까?

Llama 3의 실험 결과는 매우 인상적입니다. 405B 모델은 MMLU에서 85.2%, GSM8K에서 89.0%의 성능을 달성하여 GPT-4와 comparable한 성능을 보여주었습니다. 특히 다국어 성능(MGSM에서 91.6%)과 코드 생성 능력(HumanEval에서 89.0%)에서 뛰어난 결과를 얻었습니다.

이 연구는 오픈 소스 AI 모델 개발의 새로운 가능성을 제시했습니다. 투명하고 상세한 연구 과정 공개를 통해 AI 연구 커뮤니티에 중요한 통찰을 제공했으며, 책임감 있는 AI 개발의 중요성를 강조했습니다. 특히 안전성과 윤리적 고려사항에 대한 심도 있는 분석은 향후 AI 모델 개발의 방향을 제시했습니다.

Llama 3는 단순히 기술적 성과를 넘어 AI 연구의 미래에 대한 중요한 이정표를 마련했습니다. 고품질 데이터, 효율적인 모델 스케일링, 그리고 다중 모달 접근법에 대한 연구팀의 혁신적인 접근은 앞으로의 AI 발전에 중요한 영감을 제공할 것으로 기대됩니다.

Llama 3 Herd of Models

서론

Llama 3는 Meta AI에서 개발한 새로운 파운데이션 모델 시리즈로, 현대 인공지능 시스템의 핵심을 이루는 대규모 언어 모델입니다. 이 논문에서는 다국어 지원, 코딩, 추론, 그리고 도구 사용 기능을 기본적으로 지원하는 언어 모델들의 집합체를 소개합니다. 가장 큰 모델은 4050억 개의 파라미터를 가진 조밀한 트랜스포머 구조로, 최대 128K 토큰의 컨텍스트 윈도우를 처리할 수 있습니다.

파운데이션 모델은 언어, 시각, 음성 및 기타 모달리티를 다루는 범용 모델로, 다양한 AI 작업을 지원하도록 설계되었습니다. 현대 파운데이션 모델의 개발은 두 가지 주요 단계로 구성됩니다. 첫 번째는 다음 단어 예측이나 캡셔닝과 같은 간단한 작업을 사용하여 대규모로 모델을 훈련하는 사전 훈련 단계입니다. 두 번째는 모델이 지시사항을 따르고, 인간의 선호도에 맞추며, 코딩과 추론과 같은 특정 능력을 향상시키도록 조정하는 사후 훈련 단계입니다.

핵심 개발 원칙

고품질 파운데이션 모델 개발에는 세 가지 핵심 요소가 있다고 연구진은 밝혔습니다.

데이터 품질과 규모: 이전 Llama 버전들과 비교하여 사전 훈련과 사후 훈련에 사용되는 데이터의 양과 질을 모두 개선했습니다. 이러한 개선사항에는 사전 훈련 데이터를 위한 더욱 신중한 전처리 및 큐레이션 파이프라인 개발과 사후 훈련 데이터를 위한 더욱 엄격한 품질 보증 및 필터링 접근법 개발이 포함됩니다. Llama 3는 약 15조 개의 다국어 토큰으로 구성된 코퍼스에서 사전 훈련되었으며, 이는 Llama 2의 1.8조 토큰과 비교하여 상당한 증가입니다.

규모의 확장: 이전 Llama 모델들보다 훨씬 더 큰 규모로 모델을 훈련했습니다. 플래그십 언어 모델은 3.8 × 10²⁵ FLOP을 사용하여 사전 훈련되었으며, 이는 Llama 2의 가장 큰 버전보다 거의 50배 많은 연산량입니다. 구체적으로, 4050억 개의 훈련 가능한 파라미터를 가진 플래그십 모델을 15.6조 개의 텍스트 토큰에서 사전 훈련했습니다.

복잡성 관리: 모델 개발 프로세스의 확장성을 최대화하는 설계 선택을 했습니다. 예를 들어, 훈련 안정성을 최대화하기 위해 전문가 혼합 모델보다는 표준 조밀한 트랜스포머 모델 아키텍처를 선택했습니다. 마찬가지로, 더 복잡한 강화 학습 알고리즘보다는 지도 학습 미세조정(SFT), 거부 샘플링(RS), 그리고 직접 선호도 최적화(DPO)를 기반으로 한 상대적으로 간단한 사후 훈련 절차를 채택했습니다.

Llama 3 모델 시리즈

Llama 3 개발의 결과는 80억, 700억, 그리고 4050억 개의 파라미터를 가진 세 가지 다국어 언어 모델의 집합체입니다. 연구진은 다양한 언어 이해 작업을 다루는 수많은 벤치마크 데이터셋에서 Llama 3의 성능을 평가했습니다. 또한 Llama 3를 경쟁 모델들과 비교하는 광범위한 인간 평가를 수행했습니다.

실험적 평가 결과, 플래그십 모델은 다양한 작업에서 GPT-4와 같은 주요 언어 모델들과 비교할 만한 성능을 보여주며, 최첨단 수준에 근접한 성능을 달성했습니다. 더 작은 모델들은 유사한 파라미터 수를 가진 대안 모델들을 능가하는 클래스 최고의 성능을 보여줍니다.

성능 벤치마크 결과

주요 벤치마크에서의 Llama 3 성능을 살펴보면, 일반적인 지식과 추론 능력에서 뛰어난 결과를 보여줍니다.

이러한 결과는 Llama 3가 다양한 영역에서 경쟁력 있는 성능을 보여주며, 특히 수학적 추론과 코드 생성 작업에서 우수한 성능을 달성했음을 보여줍니다.

다중 모달 확장 실험

Llama 3 개발 과정의 일환으로 연구진은 이미지, 비디오, 음성 인식 기능을 Llama 3에 통합하는 실험도 수행했습니다. 이러한 모델들은 아직 활발한 개발 중이며 광범위한 출시 준비가 되지 않았지만, 초기 실험 결과가 논문에 제시되어 있습니다.

연구진은 오픈 소스 플래그십 모델의 출시가 연구 커뮤니티에서 혁신의 물결을 일으키고, 인공 일반 지능(AGI) 개발을 향한 책임감 있는 경로를 가속화할 것이라고 기대한다고 밝혔습니다. 이는 AI 연구의 민주화와 투명성 증진에 기여할 것으로 예상됩니다.

Llama 3는 이전 버전인 Llama 2와 비교하여 유용성과 무해성 사이의 훨씬 더 나은 균형을 제공합니다. 연구진은 Llama 3의 안전성에 대한 상세한 분석을 제공하며, 입력 및 출력 안전성을 위한 새로운 버전의 Llama Guard 모델도 함께 공개했습니다.

사전 훈련

Llama 3의 사전 훈련 과정은 현대 대규모 언어 모델 개발의 핵심을 이루는 복합적이고 체계적인 절차입니다. 이 과정은 네 가지 주요 구성 요소로 이루어져 있습니다. (1) 대규모 훈련 코퍼스의 큐레이션과 필터링, (2) 모델 아키텍처 개발과 모델 크기 결정을 위한 스케일링 법칙, (3) 대규모 효율적 사전 훈련을 위한 기술 개발, (4) 사전 훈련 레시피 개발입니다.

사전 훈련 데이터

Llama 3의 데이터셋은 2023년 말까지의 지식을 포함하는 다양한 데이터 소스로부터 구축되었습니다. 각 데이터 소스에 대해 여러 중복 제거 방법과 데이터 정제 메커니즘을 적용하여 고품질 토큰을 확보했습니다. 개인 식별 정보(PII)가 대량 포함된 도메인과 성인 콘텐츠가 알려진 도메인은 제거되었습니다.

웹 데이터 큐레이션

사용된 데이터의 대부분은 웹에서 수집되었으며, 포괄적인 정제 과정을 거쳤습니다.

PII 및 안전성 필터링: 안전하지 않은 콘텐츠나 대량의 PII를 포함할 가능성이 높은 웹사이트의 데이터를 제거하는 필터를 구현했습니다. 이는 Meta의 다양한 안전 기준에 따라 유해하다고 평가된 도메인과 성인 콘텐츠가 포함된 것으로 알려진 도메인을 포함합니다.

텍스트 추출 및 정제: 잘리지 않은 웹 문서의 원시 HTML 콘텐츠를 처리하여 고품질의 다양한 텍스트를 추출했습니다. 이를 위해 HTML 콘텐츠를 추출하고 보일러플레이트 제거의 정밀도와 콘텐츠 재현율을 최적화하는 맞춤형 파서를 구축했습니다. 인간 평가를 통해 파서의 품질을 평가한 결과, 기사형 콘텐츠에 최적화된 인기 있는 서드파티 HTML 파서들과 비교하여 우수한 성능을 보였습니다. 수학 및 코드 콘텐츠가 포함된 HTML 페이지는 해당 콘텐츠의 구조를 보존하도록 신중하게 처리했습니다. 수학 콘텐츠가 종종 사전 렌더링된 이미지로 표현되고 수식이 alt 속성에도 제공되는 경우가 많기 때문에 이미지 alt 속성 텍스트를 유지했습니다.

다양한 정제 구성을 실험적으로 평가한 결과, 웹 데이터를 주로 훈련받은 모델의 성능에는 마크다운이 일반 텍스트에 비해 해로운 것으로 나타나 모든 마크다운 마커를 제거했습니다.

중복 제거: URL, 문서, 라인 수준에서 여러 차례의 중복 제거를 적용했습니다.

URL 수준 중복 제거에서는 전체 데이터셋에 걸쳐 URL 수준의 중복 제거를 수행하여 각 URL에 해당하는 페이지의 가장 최신 버전을 유지했습니다. 문서 수준 중복 제거에서는 전체 데이터셋에 걸쳐 글로벌 MinHash 중복 제거를 수행하여 거의 중복된 문서를 제거했습니다. 라인 수준 중복 제거에서는 ccNet과 유사한 적극적인 라인 수준 중복 제거를 수행했습니다. 3천만 개 문서의 각 버킷에서 6회 이상 나타난 라인을 제거했습니다. 수동 정성적 분석에서는 라인 수준 중복 제거가 다양한 웹사이트의 네비게이션 메뉴, 쿠키 경고와 같은 남은 보일러플레이트뿐만 아니라 빈번한 고품질 텍스트도 제거하는 것으로 나타났지만, 실증적 평가에서는 강력한 개선을 보여주었습니다.

휴리스틱 필터링: 추가적인 저품질 문서, 이상치, 과도한 반복이 있는 문서를 제거하기 위한 휴리스틱을 개발했습니다. 예를 들어, 중복된 n-gram 커버리지 비율을 사용하여 로깅이나 오류 메시지와 같은 반복 콘텐츠로 구성된 라인을 제거했습니다. 이러한 라인은 매우 길고 고유할 수 있어 라인 중복 제거로는 필터링될 수 없습니다. "더러운 단어" 카운팅을 사용하여 도메인 차단 목록에 포함되지 않은 성인 웹사이트를 필터링했습니다. 토큰 분포 Kullback-Leibler 발산을 사용하여 훈련 코퍼스 분포와 비교하여 과도한 수의 이상치 토큰을 포함하는 문서를 필터링했습니다.

모델 기반 품질 필터링: 고품질 토큰을 하위 선택하기 위해 다양한 모델 기반 품질 분류기를 적용하는 실험을 수행했습니다. 여기에는 주어진 텍스트가 Wikipedia에서 참조될지를 인식하도록 훈련된 fasttext와 같은 빠른 분류기와 Llama 2 예측에 훈련된 더 계산 집약적인 RoBERTa 기반 분류기가 포함됩니다. Llama 2를 기반으로 한 품질 분류기를 훈련하기 위해 정제된 웹 문서의 훈련 세트를 생성하고 품질 요구사항을 설명한 후 Llama 2의 채팅 모델에 문서가 이러한 요구사항을 충족하는지 판단하도록 지시했습니다. 효율성을 위해 DistilRoBERTa를 사용하여 각 문서에 대한 품질 점수를 생성했습니다. 다양한 품질 필터링 구성의 효과를 실험적으로 평가했습니다.

코드 및 추론 데이터: DeepSeek-AI와 유사하게 코드와 수학 관련 웹 페이지를 추출하는 도메인별 파이프라인을 구축했습니다. 구체적으로 코드와 추론 분류기 모두 Llama 2에 의해 주석이 달린 웹 데이터에 훈련된 DistilRoBERTa 모델입니다. 위에서 언급한 일반 품질 분류기와 달리, 수학적 추론, STEM 영역에서의 추론, 자연어와 섞인 코드를 포함하는 웹 페이지를 대상으로 하는 프롬프트 튜닝을 수행했습니다. 코드와 수학의 토큰 분포가 자연어와 상당히 다르기 때문에 이러한 파이프라인은 도메인별 HTML 추출, 맞춤형 텍스트 특성 및 필터링을 위한 휴리스틱을 구현합니다.

다국어 데이터: 위에서 설명한 영어 처리 파이프라인과 유사하게 PII나 안전하지 않은 콘텐츠를 포함할 가능성이 높은 웹사이트의 데이터를 제거하는 필터를 구현했습니다. 다국어 텍스트 처리 파이프라인에는 몇 가지 고유한 특징이 있습니다.

fasttext 기반 언어 식별 모델을 사용하여 문서를 176개 언어로 분류했습니다. 각 언어의 데이터 내에서 문서 수준 및 라인 수준 중복 제거를 수행했습니다. 저품질 문서를 제거하기 위해 언어별 휴리스틱과 모델 기반 필터를 적용했습니다. 또한 다국어 Llama 2 기반 분류기를 사용하여 다국어 문서의 품질 순위를 매겨 고품질 콘텐츠가 우선순위를 갖도록 했습니다. 영어와 다국어 벤치마크에서의 모델 성능의 균형을 맞춰 사전 훈련에 사용되는 다국어 토큰의 양을 실험적으로 결정했습니다.

데이터 믹스 결정

고품질 언어 모델을 얻기 위해서는 사전 훈련 데이터 믹스에서 다양한 데이터 소스의 비율을 신중하게 결정하는 것이 필수적입니다. 이 데이터 믹스를 결정하는 주요 도구는 지식 분류와 스케일링 법칙 실험입니다.

지식 분류: 웹 데이터에 포함된 정보 유형을 분류하여 데이터 믹스를 더 효과적으로 결정하는 분류기를 개발했습니다. 이 분류기를 사용하여 웹에서 과도하게 표현되는 데이터 카테고리(예: 예술 및 엔터테인먼트)를 다운샘플링했습니다.

데이터 믹스를 위한 스케일링 법칙: 최적의 데이터 믹스를 결정하기 위해 데이터 믹스에서 여러 소형 모델을 훈련하고 이를 사용하여 해당 믹스에서 대형 모델의 성능을 예측하는 스케일링 법칙 실험을 수행했습니다. 다양한 데이터 믹스에 대해 이 과정을 여러 번 반복하여 새로운 데이터 믹스 후보를 선택했습니다. 이후 이 후보 데이터 믹스에서 더 큰 모델을 훈련하고 여러 주요 벤치마크에서 해당 모델의 성능을 평가했습니다.

데이터 믹스 요약: 최종 데이터 믹스는 일반 지식에 해당하는 토큰이 약 50%, 수학적 및 추론 토큰이 25%, 코드 토큰이 17%, 다국어 토큰이 8%를 포함합니다.

어닐링 데이터

실증적으로 소량의 고품질 코드와 수학적 데이터에 대한 어닐링이 주요 벤치마크에서 사전 훈련된 모델의 성능을 향상시킬 수 있음을 발견했습니다. Li et al.과 유사하게 선택된 도메인에서 고품질 데이터를 업샘플링하는 데이터 믹스로 어닐링을 수행했습니다. 어닐링 데이터에는 일반적으로 사용되는 벤치마크의 훈련 세트를 포함하지 않았습니다. 이를 통해 Llama 3의 진정한 퓨 샷 학습 능력과 도메인 외 일반화를 평가할 수 있었습니다.

OpenAI를 따라 어닐링에서 GSM8k와 MATH 훈련 세트에 대한 어닐링의 효과를 평가했습니다. 어닐링이 사전 훈련된 Llama 3 8B 모델의 GSM8k와 MATH 검증 세트에서의 성능을 각각 24.0%와 6.4% 향상시킨 것으로 나타났습니다. 그러나 405B 모델에서의 개선은 미미했으며, 이는 플래그십 모델이 강력한 맥락 내 학습과 추론 능력을 가지고 있어 강력한 성능을 얻기 위해 특정 도메인 내 훈련 샘플이 필요하지 않음을 시사합니다.

어닐링을 사용한 데이터 품질 평가: Blakeney et al.과 유사하게 어닐링이 소규모 도메인별 데이터셋의 가치를 판단할 수 있게 해준다는 것을 발견했습니다. 50% 훈련된 Llama 3 8B 모델의 학습률을 400억 토큰에 대해 선형적으로 0으로 어닐링하여 이러한 데이터셋의 가치를 측정했습니다. 이러한 실험에서는 새로운 데이터셋에 30% 가중치를, 나머지 70% 가중치를 기본 데이터 믹스에 할당했습니다. 어닐링을 사용하여 새로운 데이터 소스를 평가하는 것이 모든 소규모 데이터셋에 대해 스케일링 법칙 실험을 수행하는 것보다 더 효율적입니다.

모델 아키텍처

Llama 3는 표준적인 조밀한 트랜스포머 아키텍처를 사용합니다. 모델 아키텍처 측면에서 Llama와 Llama 2와 크게 다르지 않으며, 성능 향상은 주로 데이터 품질과 다양성의 개선 및 훈련 규모 증가에 의해 주도됩니다. Llama 2와 비교하여 몇 가지 작은 수정사항을 적용했습니다.

그룹화된 쿼리 어텐션(GQA): 추론 속도를 향상시키고 디코딩 중 키-값 캐시의 크기를 줄이기 위해 8개의 키-값 헤드를 가진 그룹화된 쿼리 어텐션을 사용합니다. 이는 Ainslie et al.에서 제안된 기법으로, 기존의 멀티헤드 어텐션(MHA)과 멀티쿼리 어텐션(MQA) 사이의 절충안을 제공합니다. GQA는 쿼리 헤드를 여러 그룹으로 나누고 각 그룹이 공유된 키와 값 헤드를 사용하도록 하여 MHA에 가까운 품질과 MQA에 가까운 속도를 달성합니다.

어텐션 마스크: 동일한 시퀀스 내의 서로 다른 문서 간 셀프 어텐션을 방지하는 어텐션 마스크를 사용합니다. 표준 사전 훈련에서는 이 변경사항이 제한적인 영향을 미쳤지만, 매우 긴 시퀀스에 대한 지속적인 사전 훈련에서는 중요한 것으로 나타났습니다.

어휘 확장: 128K 토큰의 어휘를 사용합니다. 토큰 어휘는 tiktoken 토크나이저의 100K 토큰과 비영어권 언어를 더 잘 지원하기 위한 28K 추가 토큰을 결합합니다. Llama 2 토크나이저와 비교하여 새로운 토크나이저는 영어 데이터 샘플에서 압축률을 토큰당 3.17자에서 3.94자로 향상시켰습니다. 이를 통해 모델이 동일한 양의 훈련 계산으로 더 많은 텍스트를 "읽을" 수 있게 됩니다. 또한 선택된 비영어권 언어에서 28K 토큰을 추가하는 것이 영어 토큰화에 영향을 주지 않으면서 압축률과 다운스트림 성능을 모두 향상시키는 것으로 나타났습니다.

RoPE 기본 주파수 증가: RoPE 기본 주파수 하이퍼파라미터를 500,000으로 증가시켰습니다. 이를 통해 더 긴 컨텍스트를 더 잘 지원할 수 있으며, Xiong et al.은 이 값이 최대 32,768 컨텍스트 길이에 효과적임을 보여주었습니다.

Llama 3 405B는 126개 레이어, 16,384의 토큰 표현 차원, 128개의 어텐션 헤드를 가진 아키텍처를 사용합니다. 이는 3.8 × 10²⁵ FLOP의 훈련 예산에 대해 데이터에서의 스케일링 법칙에 따라 대략 계산 최적인 모델 크기로 이어집니다.

스케일링 법칙

사전 훈련 계산 예산이 주어졌을 때 플래그십 모델의 최적 모델 크기를 결정하기 위해 스케일링 법칙을 개발했습니다. 최적 모델 크기 결정 외에도 주요 과제는 몇 가지 문제로 인해 플래그십 모델의 다운스트림 벤치마크 작업에서의 성능을 예측하는 것입니다. (1) 기존 스케일링 법칙은 일반적으로 특정 벤치마크 성능이 아닌 다음 토큰 예측 손실만을 예측합니다. (2) 스케일링 법칙은 작은 계산 예산으로 수행된 사전 훈련 실행을 기반으로 개발되기 때문에 노이즈가 많고 신뢰할 수 없을 수 있습니다.

이러한 과제를 해결하기 위해 다운스트림 벤치마크 성능을 정확하게 예측하는 스케일링 법칙을 개발하는 2단계 방법론을 구현했습니다.

1. 먼저 계산 최적 모델의 다운스트림 작업에서의 음의 로그 우도와 훈련 FLOP 간의 상관관계를 설정합니다.
2. 다음으로 스케일링 법칙 모델과 더 높은 계산 FLOP으로 훈련된 기존 모델을 모두 활용하여 다운스트림 작업에서의 음의 로그 우도와 작업 정확도를 상관시킵니다. 이 단계에서는 특히 Llama 2 모델 패밀리를 활용합니다.

이 접근법을 통해 계산 최적 모델에 대한 특정 수의 훈련 FLOP이 주어졌을 때 다운스트림 작업 성능을 예측할 수 있습니다. 사전 훈련 데이터 믹스를 선택하는 데도 유사한 방법을 사용합니다.

스케일링 법칙 실험: 구체적으로 6 × 10¹⁸ FLOP과 10²² FLOP 사이의 계산 예산을 사용하여 모델을 사전 훈련함으로써 스케일링 법칙을 구성했습니다. 각 계산 예산에서 4천만에서 160억 파라미터 사이의 크기 범위에서 모델을 사전 훈련했으며, 각 계산 예산에서 모델 크기의 하위 집합을 사용했습니다. 이러한 훈련 실행에서는 2,000 훈련 단계에 대한 선형 워밍업이 있는 코사인 학습률 스케줄을 사용했습니다. 피크 학습률은 모델 크기에 따라 2 × 10⁻⁴와 4 × 10⁻⁴ 사이로 설정했습니다. 코사인 감쇠는 피크 값의 0.1로 설정했습니다. 각 단계에서의 가중치 감쇠는 해당 단계에서의 학습률의 0.1배로 설정했습니다. 각 계산 규모에 대해 고정된 배치 크기를 사용했으며, 250K에서 4M 사이였습니다.

이러한 실험은 그림에서 보여지는 IsoFLOPs 곡선을 생성합니다. 이 곡선의 손실은 별도의 검증 세트에서 측정됩니다. 2차 다항식을 사용하여 측정된 손실 값을 피팅하고 각 포물선의 최솟값을 식별합니다. 포물선의 최솟값을 해당 사전 훈련 계산 예산에서의 계산 최적 모델이라고 합니다.

이렇게 식별된 계산 최적 모델을 사용하여 특정 계산 예산에 대한 최적 훈련 토큰 수를 예측합니다. 이를 위해 계산 예산 $C$와 최적 훈련 토큰 수 $N^*(C)$ 사이의 멱법칙 관계를 가정합니다.

그림 2의 데이터를 사용하여 $A$와 $\alpha$를 피팅합니다. $(\alpha, A) = (0.53, 0.29)$임을 발견했으며, 해당 피팅이 그림 3에 표시되어 있습니다. 결과 스케일링 법칙을 3.8 × 10²⁵ FLOP으로 외삽하면 16.55조 토큰에서 402B 파라미터 모델을 훈련하는 것이 제안됩니다.

중요한 관찰은 계산 예산이 증가함에 따라 IsoFLOPs 곡선이 최솟값 주변에서 더 평평해진다는 것입니다. 이는 플래그십 모델의 성능이 모델 크기와 훈련 토큰 간의 트레이드오프에서 작은 변화에 상대적으로 견고함을 의미합니다. 이 관찰을 바탕으로 최종적으로 405B 파라미터를 가진 플래그십 모델을 훈련하기로 결정했습니다.

다운스트림 작업에서의 성능 예측: 결과적인 계산 최적 모델을 사용하여 벤치마크 데이터셋에서 플래그십 Llama 3 모델의 성능을 예측했습니다. 먼저 벤치마크에서 정답의 (정규화된) 음의 로그 우도와 훈련 FLOP을 선형적으로 상관시켰습니다. 이 분석에서는 위에서 설명한 데이터 믹스에서 10²² FLOP까지 훈련된 스케일링 법칙 모델만을 사용했습니다. 다음으로 스케일링 법칙 모델과 Llama 2 데이터 믹스와 토크나이저를 사용하여 훈련된 Llama 2 모델을 모두 사용하여 로그 우도와 정확도 간의 시그모이드 관계를 설정했습니다.

ARC Challenge 벤치마크에서 이 실험의 결과를 보여줍니다. 4차수에 걸쳐 외삽하는 이 2단계 스케일링 법칙 예측이 상당히 정확함을 발견했습니다. 플래그십 Llama 3 모델의 최종 성능을 약간 과소평가할 뿐입니다.

인프라, 스케일링, 효율성

Llama 3 405B 사전 훈련을 대규모로 지원한 하드웨어와 인프라를 설명하고 훈련 효율성 개선으로 이어진 여러 최적화에 대해 논의합니다.

훈련 인프라

Llama 1과 2 모델은 Meta의 AI Research SuperCluster에서 훈련되었습니다. 더 큰 규모로 확장하면서 Llama 3의 훈련은 Meta의 프로덕션 클러스터로 이전되었습니다. 이 설정은 규모를 확장할 때 필수적인 프로덕션급 신뢰성을 최적화합니다.

컴퓨팅: Llama 3 405B는 Meta의 Grand Teton AI 서버 플랫폼을 사용하여 각각 80GB HBM3를 가진 700W TDP에서 실행되는 최대 16K H100 GPU에서 훈련됩니다. 각 서버는 8개의 GPU와 2개의 CPU를 갖추고 있습니다. 서버 내에서 8개의 GPU는 NVLink를 통해 연결됩니다. 훈련 작업은 Meta의 글로벌 규모 훈련 스케줄러인 MAST를 사용하여 스케줄링됩니다.

스토리지: Meta의 범용 분산 파일 시스템인 Tectonic을 사용하여 Llama 3 사전 훈련을 위한 스토리지 패브릭을 구축했습니다. SSD가 장착된 7,500대의 서버에서 240PB의 스토리지를 제공하며, 2TB/s의 지속 가능한 처리량과 7TB/s의 피크 처리량을 지원합니다. 주요 과제는 짧은 기간 동안 스토리지 패브릭을 포화시키는 매우 버스트한 체크포인트 쓰기를 지원하는 것입니다. 체크포인팅은 복구와 디버깅을 위해 각 GPU의 모델 상태(GPU당 1MB에서 4GB 범위)를 저장합니다. 체크포인팅 중 GPU 일시 정지 시간을 최소화하고 복구 후 손실된 작업량을 줄이기 위해 체크포인트 빈도를 증가시키는 것을 목표로 합니다.

네트워크: Llama 3 405B는 Arista 7800과 Minipack2 Open Compute Project OCP 랙 스위치를 기반으로 한 RDMA over Converged Ethernet(RoCE) 패브릭을 사용했습니다. Llama 3 패밀리의 더 작은 모델들은 Nvidia Quantum2 Infiniband 패브릭을 사용하여 훈련되었습니다. RoCE와 Infiniband 클러스터 모두 GPU 간 400Gbps 상호 연결을 활용합니다. 이러한 클러스터 간의 기본 네트워크 기술 차이에도 불구하고 이러한 대규모 훈련 워크로드에 대해 동등한 성능을 제공하도록 두 클러스터를 모두 튜닝했습니다.

설계를 완전히 소유하고 있는 RoCE 네트워크에 대해 더 자세히 설명합니다. 네트워크 토폴로지에서 RoCE 기반 AI 클러스터는 3계층 Clos 네트워크로 연결된 24K GPU로 구성됩니다. 하단 계층에서 각 랙은 두 서버에 분할된 16개의 GPU를 호스트하고 단일 Minipack2 top-of-the-rack(ToR) 스위치로 연결됩니다. 중간 계층에서 192개의 이러한 랙이 클러스터 스위치로 연결되어 전체 이등분 대역폭을 가진 3,072개 GPU의 포드를 형성하여 오버서브스크립션이 없도록 보장합니다. 상단 계층에서 동일한 데이터센터 건물 내의 8개 포드가 집계 스위치를 통해 연결되어 24K GPU의 클러스터를 형성합니다. 그러나 집계 계층에서의 네트워크 연결은 전체 이등분 대역폭을 유지하지 않고 대신 1:7의 오버서브스크립션 비율을 가집니다. 모델 병렬성 방법과 훈련 작업 스케줄러는 모두 네트워크 토폴로지를 인식하도록 최적화되어 포드 간 네트워크 통신을 최소화하는 것을 목표로 합니다.

로드 밸런싱에서 LLM 훈련은 Equal-Cost Multi-Path(ECMP) 라우팅과 같은 전통적인 방법을 사용하여 사용 가능한 모든 네트워크 경로에 걸쳐 로드 밸런싱하기 어려운 팻 네트워크 플로우를 생성합니다. 이 과제를 해결하기 위해 두 가지 기법을 사용합니다. 첫째, 집합 라이브러리는 두 GPU 간에 하나가 아닌 16개의 네트워크 플로우를 생성하여 플로우당 트래픽을 줄이고 로드 밸런싱을 위한 더 많은 플로우를 제공합니다. 둘째, Enhanced-ECMP(E-ECMP) 프로토콜은 패킷의 RoCE 헤더에서 추가 필드를 해싱하여 이러한 16개 플로우를 다양한 네트워크 경로에 걸쳐 효과적으로 밸런싱합니다.

혼잡 제어에서는 집합 통신 패턴으로 인한 일시적 혼잡과 버퍼링을 수용하기 위해 스파인에서 딥 버퍼 스위치를 사용합니다. 이 설정은 훈련에서 일반적인 느린 서버로 인한 지속적인 혼잡과 네트워크 백 프레셔의 영향을 제한하는 데 도움이 됩니다. 마지막으로 E-ECMP를 통한 더 나은 로드 밸런싱은 혼잡 가능성을 크게 줄입니다. 이러한 최적화를 통해 Data Center Quantized Congestion Notification(DCQCN)과 같은 전통적인 혼잡 제어 방법 없이 24K GPU 클러스터를 성공적으로 실행했습니다.

모델 스케일링을 위한 병렬성

가장 큰 모델의 훈련을 확장하기 위해 4D 병렬성—네 가지 다른 유형의 병렬성 방법의 조합—을 사용하여 모델을 샤딩합니다. 이 접근법은 많은 GPU에 걸쳐 계산을 효율적으로 분산하고 각 GPU의 모델 파라미터, 옵티마이저 상태, 그래디언트, 활성화가 HBM에 맞도록 보장합니다.

4D 병렬성의 구현은 텐서 병렬성(TP), 파이프라인 병렬성(PP), 컨텍스트 병렬성(CP), 데이터 병렬성(DP)을 결합합니다. 텐서 병렬성은 개별 가중치 텐서를 다른 디바이스의 여러 청크로 분할합니다. 파이프라인 병렬성은 레이어별로 모델을 수직으로 단계로 분할하여 다른 디바이스가 전체 모델 파이프라인의 다른 단계를 병렬로 처리할 수 있도록 합니다. 컨텍스트 병렬성은 입력 컨텍스트를 세그먼트로 나누어 매우 긴 시퀀스 길이 입력에 대한 메모리 병목을 줄입니다. 완전히 샤딩된 데이터 병렬성(FSDP)을 사용하여 모델, 옵티마이저, 그래디언트를 샤딩하면서 여러 GPU에서 데이터를 병렬로 처리하고 각 훈련 단계 후 동기화하는 데이터 병렬성을 구현합니다.

Llama 3에 대한 FSDP 사용은 옵티마이저 상태와 그래디언트를 샤딩하지만, 모델 샤드의 경우 백워드 패스 중 추가 all-gather 통신을 피하기 위해 포워드 계산 후 재샤딩하지 않습니다.

GPU 활용률: 병렬성 구성, 하드웨어, 소프트웨어의 신중한 튜닝을 통해 표에 표시된 구성에 대해 38-43%의 전체 BF16 Model FLOPs Utilization(MFU)을 달성했습니다. DP=128을 가진 16K GPU에서의 41% MFU가 DP=64를 가진 8K GPU에서의 43%와 비교하여 약간 감소한 것은 훈련 중 글로벌 배치당 토큰을 일정하게 유지하기 위해 필요한 DP 그룹당 더 낮은 배치 크기 때문입니다.

파이프라인 병렬성 개선: 기존 구현에서 여러 과제에 직면했습니다.

배치 크기 제약에서 현재 구현은 지원되는 GPU당 배치 크기에 제약이 있어 파이프라인 단계 수로 나누어떨어져야 합니다. 그림 6의 예에서 파이프라인 병렬성의 깊이 우선 스케줄(DFS)은 N = PP = 4를 요구하는 반면, 너비 우선 스케줄(BFS)은 N = M을 요구합니다. 여기서 M은 총 마이크로 배치 수이고 N은 동일한 단계의 포워드 또는 백워드에 대한 연속 마이크로 배치 수입니다. 그러나 사전 훈련은 종종 배치 크기를 조정할 유연성이 필요합니다.

메모리 불균형에서 기존 파이프라인 병렬성 구현은 불균형한 리소스 소비로 이어집니다. 첫 번째 단계는 임베딩과 워밍업 마이크로 배치로 인해 더 많은 메모리를 소비합니다.

계산 불균형에서 모델의 마지막 레이어 후에는 출력과 손실을 계산해야 하므로 이 단계가 실행 지연 시간 병목이 됩니다.

이러한 문제를 해결하기 위해 그림 6에 표시된 대로 파이프라인 스케줄을 수정했습니다. 이는 N을 유연하게 설정할 수 있게 해주며—이 경우 N = 5로, 각 배치에서 임의의 수의 마이크로 배치를 실행할 수 있습니다. 이를 통해 (1) 대규모에서 배치 크기 제한이 있을 때 단계 수보다 적은 마이크로 배치를 실행하거나 (2) 포인트 투 포인트 통신을 숨기기 위해 더 많은 마이크로 배치를 실행하여 최상의 통신과 메모리 효율성을 위해 DFS와 너비 우선 스케줄(BFS) 사이의 최적점을 찾을 수 있습니다.

파이프라인의 균형을 맞추기 위해 첫 번째와 마지막 단계에서 각각 하나의 트랜스포머 레이어를 줄였습니다. 이는 첫 번째 단계의 첫 번째 모델 청크가 임베딩만 가지고, 마지막 단계의 마지막 모델 청크가 출력 프로젝션과 손실 계산만 가진다는 것을 의미합니다. 파이프라인 버블을 줄이기 위해 하나의 파이프라인 랭크에서 V개의 파이프라인 단계를 가진 인터리브 스케줄을 사용합니다. 전체 파이프라인 버블 비율은 $\frac{PP-1}{V \times M}$입니다. 또한 PP에서 비동기 포인트 투 포인트 통신을 채택하여 특히 문서 마스크가 추가 계산 불균형을 도입하는 경우 훈련을 상당히 가속화합니다. 비동기 포인트 투 포인트 통신에서 메모리 사용량을 줄이기 위해 TORCH_NCCL_AVOID_RECORD_STREAMS를 활성화합니다. 마지막으로 메모리 비용을 줄이기 위해 상세한 메모리 할당 프로파일링을 기반으로 향후 계산에 사용되지 않을 텐서(각 파이프라인 단계의 입력 및 출력 텐서 포함)를 사전에 할당 해제합니다.

이러한 최적화를 통해 활성화 체크포인팅 없이 8K 토큰의 시퀀스에서 Llama 3를 사전 훈련할 수 있었습니다.

긴 시퀀스를 위한 컨텍스트 병렬성: Llama 3의 컨텍스트 길이를 확장할 때 메모리 효율성을 향상시키고 최대 128K 길이의 극도로 긴 시퀀스에서 훈련을 가능하게 하기 위해 컨텍스트 병렬성(CP)을 활용합니다. CP에서는 시퀀스 차원에 걸쳐 분할하며, 구체적으로 입력 시퀀스를 2 × CP 청크로 분할하여 각 CP 랭크가 더 나은 로드 밸런싱을 위해 두 청크를 받도록 합니다. i번째 CP 랭크는 i번째와 (2 × CP - 1 - i)번째 청크를 모두 받습니다.

링 구조에서 통신과 계산을 겹치는 기존 CP 구현과 달리, CP 구현은 먼저 키(K)와 값(V) 텐서를 all-gather하고 로컬 쿼리(Q) 텐서 청크에 대한 어텐션 출력을 계산하는 all-gather 기반 방법을 채택합니다. all-gather 통신 지연 시간이 임계 경로에 노출되지만 두 가지 주요 이유로 여전히 이 접근법을 채택합니다. (1) all-gather 기반 CP 어텐션에서 문서 마스크와 같은 다양한 유형의 어텐션 마스크를 지원하는 것이 더 쉽고 유연하며 (2) GQA 사용으로 인해 통신되는 K와 V 텐서가 Q 텐서보다 훨씬 작기 때문에 노출된 all-gather 지연 시간이 작습니다. 따라서 어텐션 계산의 시간 복잡도가 all-gather보다 한 차수 크므로(전체 인과 마스크에서 S는 시퀀스 길이를 나타낼 때 $O(S^2)$ 대 $O(S)$) all-gather 오버헤드는 무시할 수 있습니다.

네트워크 인식 병렬성 구성: 병렬성 차원의 순서인 [TP, CP, PP, DP]는 네트워크 통신에 최적화되어 있습니다. 가장 안쪽 병렬성은 가장 높은 네트워크 대역폭과 가장 낮은 지연 시간을 요구하므로 일반적으로 동일한 서버 내로 제한됩니다. 가장 바깥쪽 병렬성은 멀티홉 네트워크에 걸쳐 분산될 수 있으며 더 높은 네트워크 지연 시간을 허용해야 합니다. 따라서 네트워크 대역폭과 지연 시간에 대한 요구사항을 기반으로 병렬성 차원을 [TP, CP, PP, DP] 순서로 배치합니다. DP(즉, FSDP)는 샤딩된 모델 가중치를 비동기적으로 프리페치하고 그래디언트를 줄여 더 긴 네트워크 지연 시간을 허용할 수 있기 때문에 가장 바깥쪽 병렬성입니다.

GPU 메모리 오버플로우를 피하면서 최소 통신 오버헤드로 최적의 병렬성 구성을 식별하는 것은 어려운 일입니다. 다양한 병렬성 구성을 탐색하고 전체 훈련 성능을 예측하며 메모리 격차를 효과적으로 식별하는 데 도움이 된 메모리 소비 추정기와 성능 예측 도구를 개발했습니다.

수치적 안정성: 다양한 병렬성 설정 간의 훈련 손실을 비교하여 훈련 안정성에 영향을 미치는 여러 수치적 문제를 수정했습니다. 훈련 수렴을 보장하기 위해 여러 마이크로 배치에 걸친 백워드 계산 중 FP32 그래디언트 누적을 사용하고 FSDP에서 데이터 병렬 워커에 걸쳐 FP32로 그래디언트를 reduce-scatter합니다. 포워드 계산에서 여러 번 사용되는 중간 텐서(예: 비전 인코더 출력)의 경우 백워드 그래디언트도 FP32로 누적됩니다.

집합 통신

Llama 3를 위한 집합 통신 라이브러리는 NCCLX라고 불리는 Nvidia의 NCCL 라이브러리의 포크를 기반으로 합니다. NCCLX는 특히 높은 지연 시간 네트워크에서 NCCL의 성능을 크게 향상시킵니다. 병렬성 차원의 순서가 [TP, CP, PP, DP]이며 DP는 FSDP에 해당한다는 것을 상기하십시오. 가장 바깥쪽 병렬성 차원인 PP와 DP는 수십 마이크로초까지의 지연 시간을 가진 멀티홉 네트워크를 통해 통신할 수 있습니다.

원래 NCCL 집합—FSDP의 all-gather와 reduce-scatter, PP의 포인트 투 포인트—은 데이터 청킹과 단계적 데이터 복사를 요구합니다. 이 접근법은 (1) 데이터 전송을 촉진하기 위해 네트워크를 통해 교환되는 많은 수의 작은 제어 메시지가 필요하고, (2) 추가 메모리 복사 작업, (3) 통신을 위한 추가 GPU 사이클 사용을 포함한 여러 비효율성을 초래합니다.

Llama 3 훈련을 위해 대규모 클러스터에서 수십 마이크로초까지 될 수 있는 네트워크 지연 시간에 맞게 청킹과 데이터 전송을 튜닝하여 이러한 비효율성의 하위 집합을 해결합니다. 또한 작은 제어 메시지가 더 높은 우선순위로 네트워크를 통과하도록 허용하여 특히 딥 버퍼 코어 스위치에서 head-of-line 차단을 피합니다. 향후 Llama 버전을 위한 진행 중인 작업은 앞서 언급한 모든 문제를 전체적으로 해결하기 위해 NCCLX에서 더 깊은 변경을 수행하는 것을 포함합니다.

신뢰성 및 운영 과제

16K GPU 훈련의 복잡성과 잠재적 실패 시나리오는 운영해 온 훨씬 더 큰 CPU 클러스터의 것을 능가합니다. 더욱이 훈련의 동기적 특성은 내결함성을 떨어뜨립니다—단일 GPU 실패가 전체 작업의 재시작을 요구할 수 있습니다. 이러한 과제에도 불구하고 Llama 3에서는 펌웨어 및 Linux 커널 업그레이드와 같은 자동화된 클러스터 유지보수를 지원하면서 90% 이상의 효과적인 훈련 시간을 달성했으며, 이로 인해 매일 최소 한 번의 훈련 중단이 발생했습니다. 효과적인 훈련 시간은 경과 시간 대비 유용한 훈련에 소요된 시간을 측정합니다.

사전 훈련의 54일 스냅샷 기간 동안 총 466회의 작업 중단을 경험했습니다. 이 중 47회는 펌웨어 업그레이드나 구성 또는 데이터셋 업데이트와 같은 운영자 시작 작업과 같은 자동화된 유지보수 작업으로 인한 계획된 중단이었습니다. 나머지 419회는 예상치 못한 중단으로 표에 분류되어 있습니다.

예상치 못한 중단의 약 78%는 GPU나 호스트 구성 요소 실패와 같은 확인된 하드웨어 문제나 무음 데이터 손상 및 계획되지 않은 개별 호스트 유지보수 이벤트와 같은 하드웨어 관련 의심 문제에 기인합니다. GPU 문제는 모든 예상치 못한 문제의 58.7%를 차지하는 가장 큰 카테고리입니다. 많은 수의 실패에도 불구하고 이 기간 동안 상당한 수동 개입이 필요한 경우는 단 3회뿐이었으며, 나머지 문제는 자동화로 처리되었습니다.

효과적인 훈련 시간을 늘리기 위해 작업 시작 및 체크포인팅 시간을 줄이고 빠른 진단 및 문제 해결을 위한 도구를 개발했습니다. PyTorch의 내장 NCCL 플라이트 레코더를 광범위하게 사용합니다. 이는 집합 메타데이터와 스택 트레이스를 링 버퍼에 캡처하는 기능으로, 특히 NCCLX와 관련하여 대규모에서 행과 성능 문제를 빠르게 진단할 수 있게 해줍니다. 이를 사용하여 모든 통신 이벤트와 각 집합 작업의 지속 시간을 효율적으로 기록하고 NCCLX 워치독이나 하트비트 타임아웃 시 추적 데이터를 자동으로 덤프합니다. 코드 릴리스나 작업 재시작 없이 온라인 구성 변경을 통해 필요에 따라 더 계산 집약적인 추적 작업과 메타데이터 수집을 선택적으로 활성화합니다.

대규모 훈련에서 문제를 디버깅하는 것은 네트워크에서 NVLink와 RoCE의 혼합 사용으로 인해 복잡해집니다. NVLink를 통한 데이터 전송은 일반적으로 CUDA 커널에서 발행하는 로드/스토어 작업을 통해 발생하며, 원격 GPU나 NVLink 연결의 실패는 종종 명확한 오류 코드를 반환하지 않고 CUDA 커널 내에서 정지된 로드/스토어 작업으로 나타납니다. NCCLX는 PyTorch와의 긴밀한 공동 설계를 통해 실패 감지와 위치 파악의 속도와 정확성을 향상시켜 PyTorch가 NCCLX의 내부 상태에 액세스하고 관련 정보를 추적할 수 있게 합니다.

NVLink 실패로 인한 정지를 완전히 방지할 수는 없지만, 시스템은 통신 라이브러리의 상태를 모니터링하고 이러한 정지가 감지되면 자동으로 타임아웃됩니다. 또한 NCCLX는 각 NCCLX 통신의 커널과 네트워크 활동을 추적하고 모든 랭크 간의 완료된 데이터 전송과 대기 중인 데이터 전송을 포함하여 실패한 NCCLX 집합의 내부 상태 스냅샷을 제공합니다. 이 데이터를 분석하여 NCCLX 스케일링 문제를 디버깅합니다.

때로는 하드웨어 문제가 여전히 작동하지만 느린 스트래글러를 야기하여 감지하기 어려울 수 있습니다. 단일 스트래글러라도 수천 개의 다른 GPU를 느리게 할 수 있으며, 종종 작동하지만 느린 통신으로 나타납니다. 선택된 프로세스 그룹에서 잠재적으로 문제가 있는 통신의 우선순위를 정하는 도구를 개발했습니다. 몇 개의 상위 의심 대상만 조사함으로써 일반적으로 스트래글러를 효과적으로 식별할 수 있었습니다.

한 가지 흥미로운 관찰은 대규모 훈련 성능에 대한 환경적 요인의 영향입니다. Llama 3 405B에서는 하루 중 시간에 따른 일주기적 1-2% 처리량 변동을 관찰했습니다. 이 변동은 GPU 동적 전압 및 주파수 스케일링에 영향을 미치는 더 높은 한낮 온도의 결과입니다.

훈련 중 수만 개의 GPU가 동시에 전력 소비를 증가시키거나 감소시킬 수 있습니다. 예를 들어, 모든 GPU가 체크포인팅이나 집합 통신이 완료되기를 기다리거나 전체 훈련 작업의 시작 또는 종료로 인해서입니다. 이런 일이 발생하면 데이터센터 전체에 걸쳐 수십 메가와트 규모의 즉각적인 전력 소비 변동이 발생하여 전력망의 한계를 시험할 수 있습니다. 이는 향후 더 큰 Llama 모델의 훈련을 확장할 때 지속적인 과제입니다.

훈련 레시피

Llama 3 405B를 사전 훈련하는 데 사용된 레시피는 세 가지 주요 단계로 구성됩니다. (1) 초기 사전 훈련, (2) 긴 컨텍스트 사전 훈련, (3) 어닐링입니다. 8B와 70B 모델을 사전 훈련하는 데도 유사한 레시피를 사용합니다.

초기 사전 훈련

Llama 3 405B를 8 × 10⁻⁵의 피크 학습률, 8,000 단계의 선형 워밍업, 1,200,000 단계에 걸쳐 8 × 10⁻⁷로 감쇠하는 코사인 학습률 스케줄을 가진 AdamW를 사용하여 사전 훈련했습니다. 훈련 안정성을 향상시키기 위해 초기에는 더 낮은 배치 크기를 사용하고 이후 효율성을 향상시키기 위해 증가시켰습니다. 구체적으로 4M 토큰의 초기 배치 크기와 4,096 길이의 시퀀스를 사용하고, 252M 토큰을 사전 훈련한 후 이 값들을 8,192 토큰의 8M 시퀀스 배치 크기로 두 배로 늘렸습니다. 2.87조 토큰을 사전 훈련한 후 배치 크기를 다시 16M으로 두 배로 늘렸습니다.

이 훈련 레시피가 매우 안정적임을 발견했습니다. 손실 스파이크를 거의 관찰하지 않았고 모델 훈련 발산을 수정하기 위한 개입이 필요하지 않았습니다.

데이터 믹스 조정: 특정 다운스트림 작업에서 모델 성능을 향상시키기 위해 훈련 중 사전 훈련 데이터 믹스에 여러 조정을 가했습니다. 특히 Llama 3의 다국어 성능을 향상시키기 위해 사전 훈련 중 비영어 데이터의 비율을 증가시켰습니다. 또한 모델의 수학적 추론 성능을 향상시키기 위해 수학적 데이터를 업샘플링하고, 모델의 지식 컷오프를 앞당기기 위해 사전 훈련의 후반 단계에서 더 최근의 웹 데이터를 추가했으며, 나중에 더 낮은 품질로 식별된 사전 훈련 데이터의 하위 집합을 다운샘플링했습니다.

긴 컨텍스트 사전 훈련

사전 훈련의 최종 단계에서 최대 128K 토큰의 컨텍스트 윈도우를 지원하기 위해 긴 시퀀스에서 훈련했습니다. 셀프 어텐션 레이어의 계산이 시퀀스 길이에 대해 이차적으로 증가하기 때문에 더 일찍 긴 시퀀스에서 훈련하지 않습니다. 지원되는 컨텍스트 길이를 점진적으로 증가시켜 모델이 증가된 컨텍스트 길이에 성공적으로 적응할 때까지 사전 훈련했습니다. (1) 짧은 컨텍스트 평가에서 모델 성능이 완전히 회복되었는지와 (2) 모델이 해당 길이까지 "needle in a haystack" 작업을 완벽하게 해결하는지를 측정하여 성공적인 적응을 평가했습니다.

Llama 3 405B 사전 훈련에서는 원래 8K 컨텍스트 윈도우에서 시작하여 최종 128K 컨텍스트 윈도우에서 끝나는 6단계에 걸쳐 컨텍스트 길이를 점진적으로 증가시켰습니다. 이 긴 컨텍스트 사전 훈련 단계는 약 8000억 훈련 토큰을 사용하여 수행되었습니다.

어닐링

최종 4천만 토큰에 대한 사전 훈련 중 학습률을 0으로 선형적으로 어닐링하면서 128K 토큰의 컨텍스트 길이를 유지했습니다. 이 어닐링 단계에서는 매우 높은 품질의 데이터 소스를 업샘플링하도록 데이터 믹스를 조정했습니다. 마지막으로 어닐링 중 모델 체크포인트의 평균(Polyak 평균)을 계산하여 최종 사전 훈련된 모델을 생성했습니다.

사후 훈련

Llama 3의 사후 훈련은 사전 훈련된 모델을 인간의 피드백과 선호도에 맞춰 정렬하는 포괄적인 과정입니다. 이 과정은 여러 라운드에 걸쳐 지도 학습 미세조정(SFT)과 직접 선호도 최적화(DPO)를 적용하여 추론, 코딩, 사실성, 다국어 지원, 도구 사용, 긴 컨텍스트 처리, 그리고 정확한 지시 따르기 능력을 향상시킵니다.

모델링 접근법

사후 훈련의 핵심은 보상 모델과 언어 모델을 기반으로 한 체계적인 접근법입니다. 먼저 사전 훈련된 체크포인트를 기반으로 인간이 주석을 단 선호도 데이터를 사용하여 보상 모델을 훈련합니다. 이후 지도 학습 미세조정을 통해 사전 훈련된 체크포인트를 미세조정하고, 직접 선호도 최적화를 통해 추가적인 정렬을 수행합니다.

대화 형식 프로토콜

인간-AI 상호작용을 위한 모델 튜닝에서는 모델이 인간의 지시사항을 이해하고 대화형 작업을 수행할 수 있도록 대화 프로토콜을 정의해야 합니다. Llama 3는 도구 사용과 같은 새로운 기능을 지원하기 위해 단일 대화 턴 내에서 여러 메시지를 생성하고 이를 다른 위치(예: 사용자, ipython)로 전송할 수 있는 새로운 다중 메시지 대화 프로토콜을 설계했습니다. 이를 위해 다양한 특수 헤더 토큰과 종료 토큰을 사용합니다. 헤더 토큰은 대화에서 각 메시지의 출처와 목적지를 나타내며, 종료 토큰은 인간과 AI가 번갈아 말할 시점을 표시합니다.

보상 모델링

보상 모델은 사전 훈련된 체크포인트를 기반으로 다양한 능력을 다루도록 훈련됩니다. 훈련 목표는 Llama 2와 동일하지만, 데이터 스케일링 후 개선 효과가 감소하는 것을 관찰하여 손실에서 마진 항을 제거했습니다. Llama 2를 따라 유사한 응답을 가진 샘플을 필터링한 후 모든 선호도 데이터를 보상 모델링에 사용합니다.

표준적인 (선택됨, 거부됨) 응답 쌍 외에도, 주석자들은 일부 프롬프트에 대해 세 번째 "편집된 응답"을 생성합니다. 여기서 쌍에서 선택된 응답을 추가로 개선하여 편집합니다. 따라서 각 선호도 순위 샘플은 명확한 순위를 가진 2개 또는 3개의 응답(편집됨 > 선택됨 > 거부됨)을 포함합니다. 훈련 중에는 프롬프트와 여러 응답을 단일 행으로 연결하고 응답을 무작위로 섞습니다. 이는 응답을 별도 행에 배치하고 점수를 계산하는 표준 시나리오의 근사치이지만, 실험에서 이 접근법이 정확도 손실 없이 훈련 효율성을 향상시키는 것으로 나타났습니다.

지도 학습 미세조정

보상 모델을 사용하여 인간 주석 프롬프트에 대한 거부 샘플링을 수행합니다. 이 거부 샘플링된 데이터와 다른 데이터 소스(합성 데이터 포함)를 함께 사용하여 표준 교차 엔트로피 손실을 통해 사전 훈련된 언어 모델을 미세조정합니다. 이때 프롬프트 토큰에 대한 손실은 마스킹됩니다. 많은 훈련 대상이 모델에서 생성된 것임에도 불구하고 이 단계를 지도 학습 미세조정(SFT)이라고 부릅니다.

가장 큰 모델들은 8.5K에서 9K 단계에 걸쳐 $10^{-5}$의 학습률로 미세조정됩니다. 이러한 하이퍼파라미터 설정이 다양한 라운드와 데이터 믹스에서 잘 작동하는 것을 발견했습니다.

직접 선호도 최적화

SFT 모델을 직접 선호도 최적화(DPO)를 통해 인간 선호도 정렬을 위해 추가 훈련합니다. 훈련에는 주로 이전 정렬 라운드의 최고 성능 모델을 사용하여 수집된 가장 최근의 선호도 데이터 배치를 사용합니다. 결과적으로 훈련 데이터가 각 라운드에서 최적화되는 정책 모델의 분포에 더 잘 부합합니다.

PPO와 같은 온폴리시 알고리즘도 탐색했지만, DPO가 대규모 모델에서 더 적은 계산을 요구하고 특히 IFEval과 같은 지시 따르기 벤치마크에서 더 나은 성능을 보였습니다. Llama 3에서는 $10^{-5}$의 학습률과 0.1의 β 하이퍼파라미터를 사용합니다.

DPO에 다음과 같은 알고리즘적 수정사항을 적용했습니다.

DPO 손실에서 형식 토큰 마스킹: 선택된 응답과 거부된 응답 모두에서 헤더 토큰과 종료 토큰을 포함한 특수 형식 토큰을 손실에서 마스킹하여 DPO 훈련을 안정화합니다. 이러한 토큰이 손실에 기여하면 꼬리 반복이나 갑작스러운 종료 토큰 생성과 같은 바람직하지 않은 모델 행동을 유발할 수 있음을 관찰했습니다. 이는 DPO 손실의 대조적 특성 때문으로 추정됩니다. 선택된 응답과 거부된 응답 모두에 공통 토큰이 존재하면 모델이 이러한 토큰의 가능성을 동시에 증가시키고 감소시켜야 하는 상충되는 학습 목표가 발생합니다.

NLL 손실을 통한 정규화: 선택된 시퀀스에 대해 0.2의 스케일링 계수를 가진 추가적인 음의 로그 우도(NLL) 손실 항을 추가합니다. 이는 생성을 위한 바람직한 형식을 유지하고 선택된 응답의 로그 확률 감소를 방지하여 DPO 훈련을 추가로 안정화하는 데 도움이 됩니다.

모델 평균화

마지막으로 각 RM, SFT, 또는 DPO 단계에서 다양한 버전의 데이터나 하이퍼파라미터를 사용한 실험에서 얻은 모델들을 평균화합니다. 이는 모델 성능을 향상시키는 효과적인 기법으로 알려져 있습니다.

반복적 라운드

Llama 2를 따라 위의 방법들을 6라운드에 걸쳐 적용합니다. 각 사이클에서 새로운 선호도 주석과 SFT 데이터를 수집하고, 최신 모델에서 합성 데이터를 샘플링합니다.

사후 훈련 데이터

사후 훈련 데이터 구성은 언어 모델의 유용성과 행동에 중요한 역할을 합니다. 인간 주석 절차와 선호도 데이터 수집, SFT 데이터의 구성, 그리고 데이터 품질 제어 및 정제 방법에 대해 설명합니다.

선호도 데이터

선호도 데이터 주석 과정은 Llama 2와 유사합니다. 각 라운드 후 여러 모델을 주석을 위해 배포하고 각 사용자 프롬프트에 대해 두 개의 서로 다른 모델에서 두 개의 응답을 샘플링합니다. 이러한 모델들은 서로 다른 데이터 믹스와 정렬 레시피로 훈련되어 다양한 능력 강점(예: 코드 전문성)과 증가된 데이터 다양성을 허용합니다.

주석자들에게 선택된 응답을 거부된 응답보다 얼마나 더 선호하는지에 따라 선호도 강도를 4단계로 평가하도록 요청합니다. 상당히 더 좋음, 더 좋음, 약간 더 좋음, 또는 미미하게 더 좋음. 또한 선호도 순위 매기기 후 편집 단계를 포함하여 주석자들이 선호하는 응답을 추가로 개선하도록 장려합니다. 주석자들은 선택된 응답을 직접 편집하거나 모델에 피드백을 제공하여 자체 응답을 개선하도록 프롬프트할 수 있습니다. 결과적으로 선호도 데이터의 일부는 순위가 매겨진 세 개의 응답(편집됨 > 선택됨 > 거부됨)을 가집니다.

Llama 3 훈련에 사용되는 선호도 주석의 통계를 보여주는 표를 살펴보면, 일반 영어가 전체 비교의 81.99%를 차지하며 대화당 평균 4.1턴, 예시당 평균 1,000.4토큰을 가집니다. 코딩은 6.93%로 평균 3.2턴과 1,621.0토큰, 다국어는 5.19%로 평균 1.8턴과 1,299.4토큰, 추론 및 도구는 5.89%로 평균 1.6턴과 707.7토큰을 차지합니다. 전체적으로 평균 3.8턴과 1,041.6토큰을 가지며, 프롬프트에서 평균 44.5토큰, 응답에서 평균 284.0토큰을 보입니다.

일반 영어는 지식 기반 질문 답변이나 정확한 지시 따르기와 같은 특정 능력의 범위를 벗어나는 여러 하위 카테고리를 포함합니다. Llama 2와 비교하여 프롬프트와 응답의 평균 길이가 증가한 것을 관찰할 수 있으며, 이는 Llama 3를 더 복잡한 작업에서 훈련한다는 것을 시사합니다.

또한 수집된 데이터를 엄격하게 평가하기 위한 품질 분석 및 인간 평가 과정을 구현하여 프롬프트를 개선하고 주석자들에게 체계적이고 실행 가능한 피드백을 제공할 수 있도록 했습니다. 예를 들어, 각 라운드 후 Llama 3가 개선됨에 따라 모델이 뒤처지는 영역을 대상으로 프롬프트 복잡성을 그에 따라 증가시킵니다.

각 사후 훈련 라운드에서 보상 모델링을 위해서는 해당 시점에서 사용 가능한 모든 선호도 데이터를 사용하는 반면, DPO 훈련을 위해서는 다양한 능력의 최신 배치만을 사용합니다. 보상 모델링과 DPO 모두에서 선택된 응답이 거부된 응답보다 상당히 더 좋거나 더 좋다고 라벨링된 샘플을 훈련에 사용하고 유사한 응답을 가진 샘플은 폐기합니다.

SFT 데이터

미세조정 데이터는 주로 다음 소스들로 구성됩니다.

거부 샘플링된 응답을 가진 인간 주석 수집의 프롬프트: 인간 주석 과정에서 수집된 프롬프트에 대해 보상 모델을 사용하여 거부 샘플링을 수행한 결과입니다.

특정 능력을 대상으로 하는 합성 데이터: 특정 기능 향상을 위해 생성된 합성 데이터입니다.

소량의 인간 큐레이션된 데이터: 고품질의 인간이 직접 큐레이션한 데이터입니다.

사후 훈련 라운드가 진행됨에 따라 광범위한 복잡한 능력을 다루는 더 큰 데이터셋을 수집하는 데 사용할 수 있는 더 강력한 Llama 3 변형을 개발합니다.

거부 샘플링: 거부 샘플링 중에는 인간 주석 과정에서 수집된 각 프롬프트에 대해 최신 채팅 모델 정책(일반적으로 이전 사후 훈련 반복의 최고 성능 체크포인트 또는 특정 능력에 대한 최고 성능 체크포인트)에서 K개(일반적으로 10에서 30 사이)의 출력을 샘플링하고 보상 모델을 사용하여 최고의 후보를 선택합니다.

사후 훈련의 후반 라운드에서는 시스템 프롬프트를 도입하여 RS 응답이 바람직한 톤, 스타일 또는 형식을 따르도록 유도하며, 이는 다양한 능력에 따라 다를 수 있습니다. 거부 샘플링의 효율성을 높이기 위해 PagedAttention을 채택합니다. PagedAttention은 동적 키-값 캐시 할당을 통해 메모리 효율성을 향상시킵니다. 현재 캐시 용량에 따라 요청을 동적으로 스케줄링하여 임의의 출력 길이를 지원합니다. 불행히도 메모리 부족 시 스왑아웃의 위험이 있습니다. 이러한 스왑 오버헤드를 제거하기 위해 최대 출력 길이를 정의하고 해당 길이의 출력을 맞출 수 있는 충분한 메모리가 있을 때만 요청을 수행합니다. PagedAttention은 또한 프롬프트에 대한 키-값 캐시 페이지를 모든 해당 출력에서 공유할 수 있게 해줍니다. 이를 통해 거부 샘플링 중 처리량이 2배 이상 향상됩니다.

전체 데이터 구성: "유용성" 믹스의 각 광범위한 카테고리에 대한 데이터 통계를 보여주는 표에서 일반 영어가 52.66%로 가장 큰 비중을 차지하며 평균 6.3턴과 974.0토큰을 가집니다. 코드는 14.89%로 평균 2.7턴과 753.3토큰, 추론 및 도구는 21.19%로 평균 3.1턴과 661.6토큰을 차지합니다. 다국어는 3.01%, 시험형은 8.14%, 긴 컨텍스트는 0.11%를 차지합니다.

SFT와 선호도 데이터는 겹치는 도메인을 포함하지만 다르게 큐레이션되어 서로 다른 카운트 통계를 산출합니다. 각 사후 훈련 라운드에서 이러한 축에 걸쳐 전체 데이터 믹스를 신중하게 조정하여 광범위한 벤치마크에서 성능을 튜닝합니다. 최종 데이터 믹스는 일부 고품질 소스에서 여러 번 에포크를 수행하고 다른 소스는 다운샘플링합니다.

데이터 처리 및 품질 제어

훈련 데이터의 대부분이 모델에서 생성되므로 신중한 정제와 품질 제어가 필요합니다.

데이터 정제: 초기 라운드에서 과도한 이모지나 느낌표 사용과 같은 데이터에서 바람직하지 않은 패턴을 다수 관찰했습니다. 따라서 문제가 있는 데이터를 필터링하거나 정제하기 위한 일련의 규칙 기반 데이터 제거 및 수정 전략을 구현했습니다. 예를 들어, 지나치게 사과하는 톤 문제를 완화하기 위해 과도하게 사용되는 구문("죄송합니다" 또는 "사과드립니다"와 같은)을 식별하고 데이터셋에서 이러한 샘플의 비율을 신중하게 균형을 맞춥니다.

데이터 가지치기: 또한 저품질 훈련 샘플을 제거하고 전체 모델 성능을 향상시키기 위해 모델 기반 기법 모음을 적용합니다.

주제 분류: 먼저 Llama 3 8B를 주제 분류기로 미세조정하고 모든 데이터에 대해 추론을 수행하여 거친 단위 버킷("수학적 추론")과 세밀한 단위 버킷("기하학 및 삼각법") 모두로 분류합니다.

품질 점수 매기기: 보상 모델과 Llama 기반 신호를 모두 사용하여 각 샘플의 품질 점수를 얻습니다. RM 기반 점수의 경우 RM 점수의 상위 사분위수에 있는 데이터를 고품질로 간주합니다. Llama 기반 점수의 경우 Llama 3 체크포인트에 프롬프트하여 일반 영어 데이터에 대해 3점 척도(정확성, 지시 따르기, 톤/프레젠테이션)와 코딩 데이터에 대해 2점 척도(버그 식별, 사용자 의도)로 각 샘플을 평가하고 최대 점수를 얻은 샘플을 고품질로 간주합니다. RM과 Llama 기반 점수는 높은 불일치율을 가지며, 이러한 신호를 결합하면 내부 테스트 세트에서 최고의 재현율을 얻는다는 것을 발견했습니다. 궁극적으로 RM 또는 Llama 기반 필터에 의해 고품질로 표시된 예시를 선택합니다.

난이도 점수 매기기: 모델에 더 복잡한 예시를 우선시하는 데도 관심이 있기 때문에 두 가지 난이도 측정을 사용하여 데이터를 점수화합니다. Instag와 Llama 기반 점수화. Instag의 경우 Llama 3 70B에 프롬프트하여 SFT 프롬프트의 의도 태깅을 수행하며, 더 많은 의도가 더 복잡함을 의미합니다. 또한 Llama 3에 프롬프트하여 대화의 난이도를 3점 척도로 측정합니다.

의미적 중복 제거: 마지막으로 의미적 중복 제거를 수행합니다. 먼저 RoBERTa를 사용하여 완전한 대화를 클러스터링하고 각 클러스터 내에서 품질 점수 × 난이도 점수로 정렬합니다. 그런 다음 모든 정렬된 예시를 반복하면서 탐욕적 선택을 수행하여 클러스터에서 지금까지 본 예시에 대한 최대 코사인 유사도가 임계값보다 낮은 예시만 유지합니다.

특정 능력 향상

Llama 3의 사후 훈련에서는 코드 생성, 다국어 지원, 수학적 추론, 긴 컨텍스트 처리, 도구 사용, 사실성, 그리고 조향성과 같은 특정 능력을 향상시키기 위한 전문화된 접근법을 적용했습니다. 각 능력 영역에 대해 맞춤형 데이터 수집, 모델 훈련, 그리고 평가 전략을 개발하여 종합적인 성능 향상을 달성했습니다.

코드 생성 능력

코드 생성을 위한 대규모 언어 모델은 Copilot과 Codex의 출시 이후 상당한 주목을 받았습니다. 개발자들은 이제 이러한 모델을 광범위하게 사용하여 코드 스니펫을 생성하고, 디버깅하며, 작업을 자동화하고, 코드 품질을 향상시키고 있습니다. Llama 3에서는 Python, Java, Javascript, C/C++, Typescript, Rust, PHP, HTML/CSS, SQL, bash/shell과 같은 고우선순위 프로그래밍 언어에 대한 코드 생성, 문서화, 디버깅, 그리고 리뷰 능력을 향상시키고 평가하는 것을 목표로 했습니다.

전문가 훈련: 후속 사후 훈련 라운드에서 코드에 대한 고품질 인간 주석을 수집하는 데 사용할 코드 전문가를 훈련했습니다. 이는 메인 사전 훈련 실행에서 분기하여 대부분(85% 이상)이 코드 데이터로 구성된 1T 토큰 믹스에서 사전 훈련을 계속하는 방식으로 달성되었습니다. 도메인별 데이터에 대한 지속적인 사전 훈련은 특정 도메인에서 성능을 향상시키는 데 효과적인 것으로 나타났습니다. 훈련의 마지막 수천 단계에서는 긴 컨텍스트 미세조정(LCFT)을 수행하여 고품질 저장소 수준 코드 데이터 믹스에서 전문가의 컨텍스트 길이를 16K 토큰으로 확장했습니다. 마지막으로 SFT와 DPO 데이터 믹스가 주로 코드를 대상으로 한다는 점을 제외하고는 앞서 설명한 유사한 사후 훈련 모델링 레시피를 따라 이 모델을 정렬했습니다. 이 모델은 또한 코딩 프롬프트에 대한 거부 샘플링에도 사용됩니다.

합성 데이터 생성: 개발 과정에서 지시사항 따르기의 어려움, 코드 구문 오류, 잘못된 코드 생성, 그리고 버그 수정의 어려움을 포함한 코드 생성의 주요 문제들을 식별했습니다. 집중적인 인간 주석이 이론적으로 이러한 문제들을 해결할 수 있지만, 합성 데이터 생성은 주석자의 전문성 수준에 제약받지 않고 더 낮은 비용과 더 높은 규모에서 보완적인 접근법을 제공합니다. 따라서 Llama 3와 코드 전문가를 사용하여 대량의 합성 SFT 대화를 생성했습니다. 총 270만 개 이상의 합성 예시를 생성하여 SFT 중에 사용했습니다.

실행 피드백을 통한 합성 데이터 생성: 8B와 70B 모델은 더 크고 유능한 모델에서 생성된 데이터로 훈련될 때 상당한 성능 향상을 보였습니다. 그러나 초기 실험에서 Llama 3 405B를 자체 생성 데이터로 훈련하는 것은 도움이 되지 않으며 심지어 성능을 저하시킬 수 있음을 발견했습니다. 이러한 한계를 해결하기 위해 실행 피드백을 진실의 원천으로 도입하여 모델이 실수로부터 학습하고 올바른 방향을 유지할 수 있도록 했습니다. 구체적으로 다음 과정을 사용하여 약 100만 개의 합성 코딩 대화로 구성된 대규모 데이터셋을 생성했습니다.

문제 설명 생성에서는 먼저 다양한 주제를 다루는 프로그래밍 문제 설명의 대규모 컬렉션을 생성했으며, 여기에는 롱테일 분포에 있는 주제들도 포함됩니다. 이러한 다양성을 달성하기 위해 다양한 소스에서 무작위 코드 스니펫을 샘플링하고 모델에 이러한 예시에서 영감을 받은 프로그래밍 문제를 생성하도록 프롬프트했습니다. 이를 통해 광범위한 주제를 활용하고 포괄적인 문제 설명 세트를 만들 수 있었습니다.

솔루션 생성에서는 Llama 3에 주어진 프로그래밍 언어로 각 문제를 해결하도록 프롬프트했습니다. 프롬프트에 좋은 프로그래밍의 일반적인 규칙을 추가하면 생성된 솔루션 품질이 향상되는 것을 관찰했습니다. 또한 모델이 주석에서 사고 과정을 설명하도록 요구하는 것이 도움이 된다는 것을 발견했습니다.

정확성 분석에서는 솔루션을 생성한 후 그 정확성이 보장되지 않으며, 미세조정 데이터셋에 잘못된 솔루션을 포함하면 모델의 품질에 해를 끼칠 수 있다는 점을 인식하는 것이 중요합니다. 완전한 정확성을 보장하지는 않지만, 이를 근사하는 방법을 개발했습니다. 이를 위해 생성된 솔루션에서 소스 코드를 추출하고 정적 및 동적 분석 기법의 조합을 적용하여 정확성을 테스트했습니다.

정적 분석에서는 생성된 모든 코드를 파서와 린터를 통해 실행하여 구문적 정확성을 보장하고, 구문 오류, 초기화되지 않은 변수나 가져오지 않은 함수의 사용, 코드 스타일 문제, 타이핑 오류 등과 같은 오류를 포착했습니다. 단위 테스트 생성 및 실행에서는 각 문제와 솔루션에 대해 모델에 단위 테스트를 생성하도록 프롬프트하고, 이를 솔루션과 함께 컨테이너화된 환경에서 실행하여 런타임 실행 오류와 일부 의미적 오류를 포착했습니다.

오류 피드백 및 반복적 자기 수정에서는 솔루션이 어떤 단계에서든 실패할 때 모델에 이를 수정하도록 프롬프트했습니다. 프롬프트에는 원래 문제 설명, 결함이 있는 솔루션, 그리고 파서/린터/테스터의 피드백(stdout, stderr 및 반환 코드)이 포함되었습니다. 단위 테스트 실행 실패 후에는 모델이 기존 테스트를 통과하도록 코드를 수정하거나 생성된 코드에 맞게 단위 테스트를 수정할 수 있었습니다. 모든 검사를 통과한 대화만 최종 데이터셋에 포함되어 지도 학습 미세조정에 사용되었습니다. 주목할 점은 약 20%의 솔루션이 처음에는 잘못되었지만 자기 수정되었다는 것으로, 이는 모델이 실행 피드백으로부터 학습하고 성능을 향상시켰음을 나타냅니다.

미세조정 및 반복적 개선에서는 미세조정 과정을 여러 라운드에 걸쳐 수행하며, 각 라운드는 이전 라운드를 기반으로 구축됩니다. 각 라운드 후에 모델이 개선되어 다음 라운드를 위한 더 높은 품질의 합성 데이터를 생성합니다. 이러한 반복적 과정은 점진적인 개선과 모델 성능의 향상을 가능하게 합니다.

프로그래밍 언어 번역을 통한 합성 데이터 생성: 주요 프로그래밍 언어(예: Python/C++)와 덜 일반적인 언어(예: Typescript/PHP) 사이의 성능 격차를 관찰했습니다. 이는 덜 일반적인 프로그래밍 언어에 대한 훈련 데이터가 적기 때문에 놀라운 일이 아닙니다. 이를 완화하기 위해 일반적인 프로그래밍 언어에서 덜 일반적인 언어로 데이터를 번역하여 기존 데이터를 보완했습니다. 이는 Llama 3에 프롬프트하고 구문 파싱, 컴파일, 실행을 통해 품질을 보장하는 방식으로 달성되었습니다.

Python에서 PHP로 번역된 코드의 예시를 보여주는 그림에서는 Llama 3를 사용하여 Python 코드를 PHP 코드로 번역하여 더 광범위한 프로그래밍 언어로 SFT 데이터셋을 보강하는 방법을 보여줍니다. 이는 MultiPL-E 벤치마크로 측정된 덜 일반적인 언어의 성능을 크게 향상시킵니다.

역번역을 통한 합성 데이터 생성: 실행 피드백이 품질 결정에 덜 유용한 특정 코딩 능력(예: 문서화, 설명)을 향상시키기 위해 대안적인 다단계 접근법을 사용했습니다. 이 절차를 사용하여 코드 설명, 생성, 문서화, 디버깅과 관련된 약 120만 개의 합성 대화를 생성했습니다. 사전 훈련 데이터의 다양한 언어로 된 코드 스니펫으로 시작하여:

생성 단계에서는 Llama 3에 대상 능력을 나타내는 데이터를 생성하도록 프롬프트했습니다(예: 코드 스니펫에 주석과 독스트링을 추가하거나 모델에 코드 조각을 설명하도록 요청). 역번역 단계에서는 모델에 합성적으로 생성된 데이터를 원래 코드로 "역번역"하도록 프롬프트했습니다(예: 문서에서만 코드를 생성하도록 모델에 프롬프트하거나 설명에서만 코드를 생성하도록 요청). 필터링 단계에서는 원래 코드를 참조로 사용하여 Llama 3에 출력의 품질을 결정하도록 프롬프트했습니다(예: 역번역된 코드가 원본에 얼마나 충실한지 모델에 질문). 그런 다음 SFT에서 가장 높은 자기 검증 점수를 가진 생성된 예시를 사용했습니다.

거부 샘플링 중 시스템 프롬프트 조향: 거부 샘플링 과정에서 코드 가독성, 문서화, 철저함, 구체성을 향상시키기 위해 코드별 시스템 프롬프트를 사용했습니다. 이 데이터는 언어 모델을 미세조정하는 데 사용됩니다.

시스템 프롬프트가 생성된 코드 품질을 향상시키는 방법을 보여주는 예시에서는 왼쪽이 시스템 프롬프트 없이, 오른쪽이 시스템 프롬프트와 함께 생성된 코드입니다. 시스템 프롬프트가 필요한 주석을 추가하고, 더 정보적인 변수명을 사용하며, 메모리를 절약하는 등 코드 품질을 향상시키는 데 도움이 되는 것을 보여줍니다.

실행 및 모델-판사 신호를 통한 훈련 데이터 필터링: 거부 샘플링된 데이터에서 버그가 포함된 코드 블록과 같은 품질 문제를 때때로 발견했습니다. 거부 샘플링된 응답은 일반적으로 자연어와 코드의 혼합을 포함하며 코드가 항상 실행 가능할 것으로 예상되지 않기 때문에(예: 사용자 프롬프트가 명시적으로 의사 코드나 실행 가능한 프로그램의 매우 작은 스니펫에 대한 편집만을 요청할 수 있음) 거부 샘플링된 데이터에서 이러한 문제를 감지하는 것은 합성 코드 데이터에서만큼 간단하지 않습니다. 이를 해결하기 위해 이전 버전의 Llama 3가 코드 정확성과 코드 스타일이라는 두 가지 기준에 따라 이진(0/1) 점수를 평가하고 할당하는 "모델-판사" 접근법을 활용했습니다. 완벽한 점수 2를 달성한 샘플만 유지했습니다.

처음에 이러한 엄격한 필터링은 주로 도전적인 프롬프트가 있는 예시를 불균형적으로 제거했기 때문에 다운스트림 벤치마크 성능의 회귀로 이어졌습니다. 이를 상쇄하기 위해 가장 도전적인 것으로 분류된 일부 코딩 데이터의 응답을 Llama 기반 "모델-판사" 기준을 충족할 때까지 전략적으로 수정했습니다. 이러한 도전적인 문제를 개선함으로써 코딩 데이터는 품질과 난이도 사이의 균형을 달성하여 최적의 다운스트림 성능을 가져왔습니다.

다국어 지원

Llama 3의 다국어 능력을 향상시키는 방법을 설명하며, 여기에는 상당히 더 많은 다국어 데이터에 특화된 전문가 훈련, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어에 대한 고품질 다국어 지시 튜닝 데이터 소싱 및 생성, 그리고 모델의 전반적인 성능을 향상시키기 위한 다국어 언어 조향의 특정 과제 해결이 포함됩니다.

전문가 훈련: Llama 3 사전 훈련 데이터 믹스는 비영어 토큰보다 상당히 많은 영어 토큰을 포함합니다. 비영어 언어에서 더 높은 품질의 인간 주석을 수집하기 위해 사전 훈련 실행에서 분기하여 90%의 다국어 토큰으로 구성된 데이터 믹스에서 사전 훈련을 계속하는 방식으로 다국어 전문가를 훈련했습니다. 그런 다음 이 전문가 모델에 대해 사후 훈련을 수행했습니다. 이 전문가 모델은 사전 훈련이 완전히 완료될 때까지 비영어 언어에서 더 높은 품질의 주석을 수집하는 데 사용되었습니다.

다국어 데이터 수집: 다국어 SFT 데이터는 주로 아래에 설명된 소스에서 파생됩니다. 전체 분포는 인간 주석 2.4%, 다른 NLP 작업의 데이터 44.2%, 거부 샘플링된 데이터 18.8%, 번역된 추론 데이터 34.6%입니다.

인간 주석에서는 언어학자와 원어민으로부터 고품질의 수동 주석 데이터를 수집했습니다. 이러한 주석은 대부분 실제 사용 사례를 나타내는 개방형 프롬프트로 구성됩니다. 다른 NLP 작업의 데이터에서는 추가 보강을 위해 다른 작업의 다국어 훈련 데이터를 사용하고 대화 형식으로 다시 작성했습니다. 예를 들어, exams-qa와 Conic10k의 데이터를 사용했습니다. 언어 정렬을 향상시키기 위해 GlobalVoices와 Wikimedia의 병렬 텍스트도 사용했습니다. LID 기반 필터링과 Blaser2.0을 사용하여 저품질 데이터를 제거했습니다. 병렬 텍스트 데이터의 경우 이중 텍스트 쌍을 직접 사용하는 대신 번역 및 언어 학습 시나리오에서 실제 대화를 더 잘 시뮬레이션하기 위해 다국어 템플릿을 적용했습니다.

거부 샘플링된 데이터에서는 영어 데이터 처리와 비교하여 몇 가지 수정사항과 함께 인간 주석 프롬프트에 거부 샘플링을 적용하여 미세조정을 위한 고품질 샘플을 생성했습니다. 생성 단계에서는 사후 훈련의 초기 라운드에서 다양한 생성을 위해 0.2-1 범위에서 온도 하이퍼파라미터를 무작위로 선택하는 것을 탐색했습니다. 높은 온도에서 다국어 프롬프트에 대한 응답은 창의적이고 영감을 줄 수 있지만 불필요하거나 부자연스러운 코드 스위칭에도 취약합니다. 사후 훈련의 최종 라운드에서는 트레이드오프의 균형을 맞추기 위해 0.6의 상수 값을 사용했습니다. 또한 응답 형식, 구조 및 일반적인 가독성을 향상시키기 위해 전문화된 시스템 프롬프트를 사용했습니다. 선택 단계에서는 보상 모델 기반 선택 이전에 프롬프트와 응답 간의 높은 언어 일치율을 보장하기 위해 다국어별 검사를 구현했습니다(예: 로마자 힌디어 프롬프트는 힌디어 데바나가리 문자로 된 응답을 기대해서는 안 됨).

번역된 데이터에서는 번역체나 가능한 이름 편향, 성별 편향, 문화적 편향을 방지하기 위해 모델을 미세조정할 때 기계 번역된 데이터 사용을 피하려고 노력했습니다. 또한 모델이 영어 문화적 맥락에 뿌리를 둔 작업에만 노출되는 것을 방지하는 것을 목표로 했으며, 이는 우리가 포착하고자 하는 언어적 및 문화적 다양성을 대표하지 않을 수 있습니다. 이에 대한 한 가지 예외를 두어 비영어 언어에서 정량적 추론 성능을 향상시키기 위해 합성 정량적 추론 데이터를 번역했습니다. 이러한 수학 문제의 언어가 단순한 특성으로 인해 번역된 샘플은 품질 문제가 거의 또는 전혀 없는 것으로 발견되었습니다. 이 번역된 데이터를 추가함으로써 MGSM에서 강력한 성과를 관찰했습니다.

수학적 추론

추론을 다단계 계산을 수행하고 올바른 최종 답에 도달하는 능력으로 정의합니다. 수학적 추론에 뛰어난 모델을 훈련하는 접근법을 안내하는 몇 가지 과제가 있습니다.

프롬프트 부족에서는 질문의 복잡성이 증가함에 따라 지도 학습 미세조정을 위한 유효한 프롬프트나 질문의 수가 감소합니다. 이러한 희소성은 모델에 다양한 수학적 기술을 가르치기 위한 다양하고 대표적인 훈련 데이터셋을 만드는 것을 어렵게 만듭니다.

진실한 체인 오브 소트의 부족에서는 효과적인 추론에는 추론 과정을 촉진하기 위한 단계별 솔루션이 필요합니다. 그러나 모델이 문제를 단계별로 분해하고 최종 답에 도달하는 방법을 안내하는 데 필수적인 진실한 체인 오브 소트가 종종 부족합니다.

잘못된 중간 단계에서는 모델에서 생성된 체인 오브 소트를 사용할 때 중간 단계가 항상 올바르지 않을 수 있습니다. 이러한 부정확성은 잘못된 최종 답으로 이어질 수 있으며 해결해야 합니다.

외부 도구 사용 교육에서는 코드 인터프리터와 같은 외부 도구를 활용하도록 모델을 향상시키면 코드와 텍스트를 교차하여 추론할 수 있게 됩니다. 이러한 능력은 문제 해결 능력을 크게 향상시킬 수 있습니다.

훈련과 추론 간의 불일치에서는 모델이 훈련 중에 미세조정되는 방식과 추론 중에 사용되는 방식 사이에 종종 불일치가 있습니다. 추론 중에 미세조정된 모델은 인간이나 다른 모델과 상호작용하여 피드백을 사용하여 추론을 향상시켜야 할 수 있습니다. 훈련과 실제 사용 간의 일관성을 보장하는 것은 추론 성능을 유지하는 데 중요합니다.

이러한 과제를 해결하기 위해 다음 방법론을 적용했습니다.

프롬프트 부족 해결에서는 수학적 맥락에서 관련 사전 훈련 데이터를 소싱하고 이를 질문-답변 형식으로 변환하여 지도 학습 미세조정에 사용할 수 있도록 했습니다. 또한 모델이 저조한 성능을 보이는 수학적 기술을 식별하고 인간으로부터 그러한 기술을 가르치기 위한 관련 프롬프트를 적극적으로 소싱했습니다. 이 과정을 촉진하기 위해 수학적 기술의 분류체계를 만들고 인간에게 그에 따라 관련 프롬프트/질문을 제공하도록 요청했습니다.

단계별 추론 추적으로 훈련 데이터 보강에서는 Llama 3를 사용하여 프롬프트 세트에 대한 단계별 솔루션을 생성했습니다. 각 프롬프트에 대해 모델은 가변적인 수의 생성을 생성합니다. 이러한 생성은 올바른 답을 기반으로 필터링됩니다. 또한 Llama 3를 사용하여 특정 단계별 솔루션이 주어진 질문에 대해 유효한지 검증하는 자기 검증을 수행합니다. 이 과정은 모델이 유효한 추론 추적을 생성하지 않는 인스턴스를 제거하여 미세조정 데이터의 품질을 향상시킵니다.

잘못된 추론 추적 필터링에서는 중간 추론 단계가 잘못된 훈련 데이터를 필터링하기 위해 결과 및 단계별 보상 모델을 훈련했습니다. 이러한 보상 모델은 유효하지 않은 단계별 추론이 있는 데이터를 제거하여 미세조정을 위한 고품질 데이터를 보장하는 데 사용됩니다. 더 도전적인 프롬프트의 경우 학습된 단계별 보상 모델과 함께 몬테카를로 트리 탐색(MCTS)을 사용하여 유효한 추론 추적을 생성하여 고품질 추론 데이터 수집을 더욱 향상시켰습니다.

코드와 텍스트 추론 교차에서는 Llama 3에 텍스트 추론과 관련 Python 코드의 조합을 통해 추론 문제를 해결하도록 프롬프트했습니다. 코드 실행은 추론 체인이 유효하지 않은 경우를 제거하는 피드백 신호로 사용되어 추론 과정의 정확성을 보장합니다.

피드백과 실수로부터 학습에서는 인간 피드백을 시뮬레이션하기 위해 잘못된 생성(즉, 잘못된 추론 추적으로 이어지는 생성)을 활용하고 Llama 3에 올바른 생성을 산출하도록 프롬프트하여 오류 수정을 수행했습니다. 잘못된 시도의 피드백을 사용하고 이를 수정하는 반복적 과정은 모델의 정확한 추론 능력을 향상시키고 실수로부터 학습하는 데 도움이 됩니다.

긴 컨텍스트 처리

사전 훈련의 최종 단계에서 최대 128K 토큰의 컨텍스트 윈도우를 지원하기 위해 긴 시퀀스에서 훈련했습니다. 셀프 어텐션 레이어의 계산이 시퀀스 길이에 대해 이차적으로 증가하기 때문에 더 일찍 긴 시퀀스에서 훈련하지 않습니다. 사후 훈련에서도 마찬가지로 짧은 컨텍스트와 긴 컨텍스트 능력의 균형을 맞추기 위해 레시피를 신중하게 조정해야 함을 발견했습니다.

SFT 및 합성 데이터 생성: 기존 SFT 레시피를 짧은 컨텍스트 데이터만으로 순진하게 적용하면 사전 훈련에서 긴 컨텍스트 능력이 크게 회귀되어 SFT 데이터 믹스에 긴 컨텍스트 데이터를 포함해야 할 필요성이 강조되었습니다. 그러나 실제로는 긴 컨텍스트를 읽는 것이 지루하고 시간이 많이 걸리는 특성으로 인해 인간이 이러한 예시에 주석을 다는 것이 대체로 비실용적이므로 이 격차를 메우기 위해 주로 합성 데이터에 의존합니다.

이전 버전의 Llama 3를 사용하여 주요 긴 컨텍스트 사용 사례인 (다중 턴 가능한) 질문 답변, 긴 문서 요약, 코드 저장소에 대한 추론을 기반으로 합성 데이터를 생성했습니다.

질문 답변에서는 사전 훈련 믹스에서 긴 문서 세트를 신중하게 큐레이션했습니다. 이러한 문서를 8K 토큰 청크로 분할하고 이전 버전의 Llama 3 모델에 무작위로 선택된 청크를 조건으로 QA 쌍을 생성하도록 프롬프트했습니다. 훈련 중에는 전체 문서가 컨텍스트로 사용됩니다.

요약에서는 먼저 가장 강력한 Llama 3 8K 컨텍스트 모델을 사용하여 8K 입력 길이의 청크를 요약한 다음 요약의 요약을 수행하는 방식으로 긴 컨텍스트 문서의 계층적 요약을 적용했습니다. 훈련 중에는 전체 문서를 제공하고 모든 중요한 세부사항을 보존하면서 문서를 요약하도록 모델에 프롬프트합니다. 또한 문서의 요약을 기반으로 QA 쌍을 생성하고 전체 긴 문서에 대한 전역적 이해가 필요한 질문으로 모델에 프롬프트합니다.

긴 컨텍스트 코드 추론에서는 Python 파일을 파싱하여 import 문을 식별하고 종속성을 결정합니다. 여기서 가장 일반적으로 의존되는 파일, 특히 최소 5개의 다른 파일에서 참조되는 파일을 선택합니다. 저장소에서 이러한 핵심 파일 중 하나를 제거하고 모델에 누락된 파일에 의존하는 파일을 식별하고 필요한 누락된 코드를 생성하도록 프롬프트합니다.

이러한 합성적으로 생성된 샘플을 시퀀스 길이(16K, 32K, 64K, 128K)에 따라 추가로 분류하여 입력 길이의 더 세밀한 타겟팅을 가능하게 합니다. 신중한 실험을 통해 합성적으로 생성된 긴 컨텍스트 데이터의 0.1%를 원래 짧은 컨텍스트 데이터와 혼합하는 것이 짧은 컨텍스트와 긴 컨텍스트 벤치마크 모두에서 성능을 최적화한다는 것을 관찰했습니다.

DPO: DPO에서 짧은 컨텍스트 훈련 데이터만 사용하는 것이 SFT 모델이 긴 컨텍스트 작업에서 고품질인 한 긴 컨텍스트 성능에 부정적인 영향을 미치지 않는다는 것을 관찰했습니다. 이는 DPO 레시피가 SFT보다 적은 옵티마이저 단계를 가지기 때문인 것으로 추정됩니다. 이러한 발견을 바탕으로 긴 컨텍스트 SFT 체크포인트 위에 표준 짧은 컨텍스트 레시피를 DPO에 유지했습니다.

도구 사용

검색 엔진이나 코드 인터프리터와 같은 도구를 사용하도록 대규모 언어 모델을 가르치는 것은 해결할 수 있는 작업의 범위를 크게 확장하여 순수한 채팅 모델에서 더 일반적인 어시스턴트로 변환시킵니다. Llama 3를 다음 도구들과 상호작용하도록 훈련했습니다.

검색 엔진: Llama 3는 지식 컷오프를 넘어서는 최근 사건에 대한 질문에 답하거나 웹에서 특정 정보를 검색해야 하는 질문에 답하기 위해 Brave Search를 사용하도록 훈련되었습니다.

Python 인터프리터: Llama 3는 복잡한 계산을 수행하고, 사용자가 업로드한 파일을 읽고, 질문 답변, 요약, 데이터 분석 또는 시각화와 같은 작업을 해결하기 위해 코드를 생성하고 실행할 수 있습니다.

수학적 계산 엔진: Llama 3는 Wolfram Alpha API를 사용하여 수학, 과학 문제를 더 정확하게 해결하거나 Wolfram의 데이터베이스에서 정확한 정보를 검색할 수 있습니다.

결과 모델은 다중 턴 대화를 포함하여 채팅 설정에서 이러한 도구를 사용하여 사용자의 쿼리를 해결할 수 있습니다. 쿼리가 여러 도구 호출을 필요로 하는 경우 모델은 단계별 계획을 작성하고, 도구를 순차적으로 호출하며, 각 도구 호출 후 추론을 수행할 수 있습니다.

또한 Llama 3의 제로샷 도구 사용 능력을 향상시켰습니다. 컨텍스트 내에서 잠재적으로 보지 못한 도구 정의와 사용자 쿼리가 주어졌을 때 모델이 올바른 도구 호출을 생성하도록 훈련했습니다.

구현: 핵심 도구를 다양한 메서드를 가진 Python 객체로 구현했습니다. 제로샷 도구는 설명, 문서(즉, 사용 방법 예시)가 포함된 Python 함수로 구현될 수 있으며, 모델은 적절한 호출을 생성하기 위해 함수의 시그니처와 독스트링만 컨텍스트로 필요로 합니다. 또한 함수 정의와 호출을 JSON 형식으로 변환합니다(예: 웹 API 호출용). 모든 도구 호출은 Llama 3 시스템 프롬프트에서 활성화되어야 하는 Python 인터프리터에 의해 실행됩니다. 핵심 도구는 시스템 프롬프트에서 개별적으로 활성화하거나 비활성화할 수 있습니다.

데이터 수집: Llama 3에 도구 사용을 가르치기 위해 인간 주석과 선호도에 의존합니다. Llama 3에서 일반적으로 사용되는 사후 훈련 파이프라인과 두 가지 주요 차이점이 있습니다.

도구의 경우 대화에는 종종 단일 어시스턴트 메시지 이상이 포함됩니다(예: 도구 호출 및 도구 출력에 대한 추론). 따라서 세분화된 피드백을 수집하기 위해 메시지 수준에서 주석을 답니다. 주석자는 동일한 컨텍스트를 가진 두 어시스턴트 메시지 간의 선호도를 제공하거나, 둘 다 주요 문제가 있는 경우 메시지 중 하나를 편집합니다. 선택되거나 편집된 메시지는 컨텍스트에 추가되고 대화가 계속됩니다. 이는 도구 호출과 도구 출력에 대한 추론 모두에 대한 어시스턴트의 능력에 대한 인간 피드백을 제공합니다. 주석자는 도구 출력을 순위를 매기거나 편집할 수 없습니다.

도구 벤치마크에서 개선을 관찰하지 않았기 때문에 거부 샘플링을 수행하지 않습니다. 주석 과정을 가속화하기 위해 이전 Llama 3 체크포인트의 합성적으로 생성된 데이터에 미세조정하여 기본 도구 사용 능력을 부트스트랩하는 것으로 시작합니다. 따라서 주석자가 수행해야 할 편집이 적어집니다.

유사한 정신으로 Llama 3가 개발을 통해 점진적으로 개선됨에 따라 인간 주석 프로토콜을 점진적으로 복잡화합니다. 단일 턴 도구 사용 주석으로 시작하여 대화에서의 도구 사용으로 이동한 다음 마지막으로 다단계 도구 사용과 데이터 분석에 대한 주석을 수행합니다.

도구 데이터셋: 도구 사용 애플리케이션을 위한 데이터를 생성하기 위해 다음 절차를 활용했습니다.

단일 단계 도구 사용에서는 구성상 핵심 도구 중 하나에 대한 호출이 필요한 합성 사용자 프롬프트의 퓨샷 생성으로 시작합니다(예: 지식 컷오프 날짜를 초과하는 질문). 그런 다음 여전히 퓨샷 생성에 의존하여 이러한 프롬프트에 대한 적절한 도구 호출을 생성하고, 이를 실행하며, 출력을 모델의 컨텍스트에 추가합니다. 마지막으로 도구 출력을 기반으로 사용자 쿼리에 대한 최종 답변을 생성하도록 모델에 다시 프롬프트합니다. 시스템 프롬프트, 사용자 프롬프트, 도구 호출, 도구 출력, 최종 답변 형태의 궤적으로 끝납니다. 또한 실행할 수 없는 도구 호출이나 기타 형식 문제를 제거하기 위해 이 데이터셋의 약 30%를 필터링합니다.

다단계 도구 사용에서는 유사한 프로토콜을 따르고 먼저 모델에 기본적인 다단계 도구 사용 능력을 가르치기 위한 합성 데이터를 생성합니다. 이를 위해 먼저 Llama 3에 핵심 세트에서 동일하거나 다른 도구일 수 있는 최소 두 번의 도구 호출이 필요한 사용자 프롬프트를 생성하도록 프롬프트합니다. 그런 다음 이러한 프롬프트를 조건으로 Llama 3에 ReAct와 유사하게 교차된 추론 단계와 도구 호출로 구성된 솔루션을 퓨샷 프롬프트로 생성하도록 합니다.

다단계 도구 사용의 예시를 보여주는 그림에서는 Llama 3가 작업을 해결하기 위해 다단계 계획, 추론, 도구 호출을 수행하는 예시를 보여줍니다. 사용자가 2024년 2월 미국 인플레이션율과 일일 식료품 비용을 기반으로 한 달간의 총 식료품 비용을 추정하도록 요청했을 때, 모델은 체계적으로 정보를 검색하고 계산을 수행합니다.

파일 업로드에서는 .txt, .docx, .pdf, .pptx, .xlsx, .csv, .tsv, .py, .json, .jsonl, .html, .xml 파일 형식에 대해 주석을 답니다. 프롬프트는 제공된 파일을 기반으로 하며 파일 내용 요약, 버그 찾기 및 수정, 코드 조각 최적화, 데이터 분석 또는 시각화 수행을 요청합니다.

파일 업로드를 처리하는 Llama 3의 예시를 보여주는 그림에서는 업로드된 파일의 분석과 시각화를 수행하는 모습을 보여줍니다. 시리얼의 설탕 함량과 전체 평점 간의 관계를 보여주는 산점도를 생성하여 설탕 함량이 증가할수록 평점이 감소하는 부정적 관계를 시각적으로 보여줍니다.

이 합성 데이터에 미세조정한 후 다중 턴 상호작용, 3단계 이상의 도구 사용, 도구 호출이 만족스러운 답변을 제공하지 않는 인스턴스를 포함한 다양하고 도전적인 시나리오에서 인간 주석을 수집합니다. 모델이 활성화될 때만 도구를 사용하도록 가르치기 위해 다양한 시스템 프롬프트로 합성 데이터를 보강합니다. 간단한 쿼리에 대해 도구 호출을 피하도록 모델을 훈련하기 위해 쉬운 수학이나 질문 답변 데이터셋의 쿼리와 도구 없는 응답도 추가하지만 시스템 프롬프트에서는 도구가 활성화되어 있습니다.

제로샷 도구 사용 데이터: 부분적으로 합성인 (함수 정의, 사용자 쿼리, 해당 호출) 튜플의 크고 다양한 세트에 미세조정하여 Llama 3의 제로샷 도구 사용 능력(함수 호출이라고도 함)을 향상시킵니다. 보지 못한 도구 세트에서 모델을 평가합니다.

단일, 중첩, 병렬 함수 호출에서 호출은 단순하거나, 중첩(즉, 함수 호출을 다른 함수의 인수로 전달)이거나, 병렬(즉, 모델이 독립적인 함수 호출 목록을 반환)일 수 있습니다. 다양한 함수, 쿼리, 정답 세트를 생성하는 것은 도전적일 수 있으며, Stack을 마이닝하여 합성 사용자 쿼리를 실제 함수에 기반하도록 합니다. 더 정확히 말하면, 함수 호출과 정의를 추출하고 이를 정제 및 필터링합니다(예: 독스트링 누락이나 실행 불가능한 함수). Llama 3를 사용하여 함수 호출에 해당하는 자연어 쿼리를 생성합니다.

다중 턴 함수 호출에서는 여러 에이전트가 도메인, API, 사용자 쿼리, API 호출, 응답을 생성하면서 생성된 데이터가 다양한 도메인과 현실적인 API 세트를 다루도록 보장하는 유사한 프로토콜을 따릅니다. 모든 에이전트는 역할에 따라 다르게 프롬프트된 Llama 3의 변형이며 단계별 방식으로 협력합니다.

사실성

환각은 대규모 언어 모델의 주요 과제로 남아 있습니다. 모델들은 지식이 거의 없는 도메인에서도 과신하는 경향이 있습니다. 이러한 단점에도 불구하고 지식 베이스로 자주 사용되어 잘못된 정보 확산과 같은 위험한 결과를 초래할 수 있습니다. 사실성이 환각을 넘어설 수 있다는 것을 인식하지만 여기서는 환각 우선 접근법을 취했습니다.

사후 훈련이 지식을 추가하기보다는 모델이 "자신이 아는 것을 알도록" 정렬해야 한다는 원칙을 따릅니다. 주요 접근법은 Llama 3의 컨텍스트 내 능력을 활용하는 지식 탐사 기법을 개발하는 것입니다. 이 데이터 생성 과정은 다음 절차를 포함합니다.

1. 사전 훈련 데이터에서 데이터 스니펫을 추출합니다.
2. Llama 3에 프롬프트하여 이러한 스니펫(컨텍스트)에 대한 사실적 질문을 생성합니다.
3. 질문에 대한 Llama 3의 응답을 샘플링합니다.
4. 원래 컨텍스트를 참조로 사용하고 Llama 3를 판사로 사용하여 생성의 정확성을 점수화합니다.
5. Llama 3를 판사로 사용하여 생성의 정보성을 점수화합니다.
6. Llama 3를 사용하여 생성 전반에 걸쳐 일관되게 정보적이고 잘못된 응답에 대한 거부를 생성합니다.

지식 탐사에서 생성된 데이터를 사용하여 모델이 지식을 가지고 있는 질문에만 답하고 확신이 없는 질문에 대해서는 답변을 거부하도록 장려합니다. 또한 사전 훈련 데이터가 항상 사실적으로 일관되거나 올바르지 않습니다. 따라서 사실적으로 모순되거나 잘못된 진술이 널리 퍼져 있는 민감한 주제를 다루는 제한된 라벨링된 사실성 데이터 세트도 수집합니다.

조향성

조향성은 개발자와 사용자 사양에 맞게 모델의 행동과 결과를 지시하는 능력입니다. Llama 3는 범용 파운데이션 모델이므로 다양한 다운스트림 사용 사례에 쉽게 최대한 조향 가능해야 합니다. Llama 3의 경우 특히 응답 길이, 형식, 톤, 캐릭터/페르소나 주변에서 자연어 지시사항이 포함된 시스템 프롬프트를 통한 조향성 향상에 중점을 둡니다.

데이터 수집: 주석자들에게 Llama 3를 위한 다양한 시스템 프롬프트를 설계하도록 요청하여 일반 영어 카테고리 내에서 조향성 선호도 샘플을 수집합니다. 그런 다음 주석자들은 모델과 대화를 나누어 대화 과정에서 시스템 프롬프트에 정의된 지시사항을 따르는 일관성을 평가합니다. 조향성 향상을 위해 사용된 맞춤형 시스템 프롬프트의 예시를 아래에 보여줍니다.

"당신은 바쁜 가족을 위한 식사 계획 어시스턴트 역할을 하는 도움이 되고 쾌활한 AI 챗봇입니다. 가족은 성인 2명, 십대 3명, 미취학 아동 2명으로 구성됩니다. 한 번에 2일 또는 3일을 계획하고 둘째 날 계획을 위해 남은 음식이나 추가 재료를 사용합니다. 사용자가 2일 또는 3일을 원하는지 알려주며, 그렇지 않으면 3일로 가정합니다. 각 계획에는 아침, 점심, 간식, 저녁이 포함되어야 합니다. 사용자가 계획을 승인하거나 조정이 필요한지 물어보세요. 승인 후 가족 규모를 고려한 식료품 목록을 제공합니다. 항상 가족 선호도를 염두에 두고 좋아하지 않는 것이 있으면 대체품을 제공합니다. 사용자가 영감을 받지 못한다면 이번 주에 휴가로 가고 싶은 곳이 어디인지 물어보고 그 지역의 문화를 기반으로 한 식사를 제안합니다. 주말 식사는 더 복잡할 수 있습니다. 평일 식사는 빠르고 쉬워야 합니다. 아침과 점심의 경우 시리얼, 미리 조리된 베이컨이 들어간 잉글리시 머핀, 기타 빠르고 쉬운 음식과 같은 간편한 음식이 선호됩니다. 가족이 바쁩니다. 특별한 경우가 아닌 한 예산을 고려해야 합니다. 커피나 에너지 드링크와 같은 필수품과 즐겨 찾는 것들을 구비하고 있는지 확인하여 구매를 잊지 않도록 하세요."

모델링: 선호도 데이터를 수집한 후 이 데이터를 보상 모델링, 거부 샘플링, SFT, DPO에 활용하여 Llama 3의 조향성을 향상시킵니다.

결과

Llama 3의 성능을 종합적으로 평가하기 위해 연구진은 광범위한 실험을 수행했습니다. 평가는 크게 세 가지 영역으로 구성됩니다. (1) 사전 훈련된 언어 모델의 성능, (2) 사후 훈련된 언어 모델의 성능, (3) Llama 3의 안전성 특성입니다. 각 영역별로 상세한 결과를 제시하며, 이를 통해 Llama 3가 현재 최첨단 모델들과 경쟁할 수 있는 성능을 보여줌을 입증합니다.

사전 훈련된 언어 모델

사전 훈련된 Llama 3 모델의 성능을 다양한 벤치마크에서 평가하여 기존 모델들과 비교했습니다. 평가는 표준 벤치마크, 견고성 테스트, 적대적 평가, 그리고 오염 분석을 포함합니다.

표준 벤치마크

Llama 3를 현재 최첨단 모델들과 비교하기 위해 8개의 주요 카테고리에 걸쳐 표준 벤치마크 평가를 수행했습니다. (1) 상식 추론, (2) 지식, (3) 독해, (4) 수학, 추론 및 문제 해결, (5) 긴 컨텍스트, (6) 코드, (7) 적대적 평가, (8) 종합 평가입니다.

위 그림은 사전 훈련된 Llama 3 8B와 70B 모델의 성능을 다양한 능력 카테고리별로 보여줍니다. 결과는 해당 카테고리에 속하는 모든 벤치마크의 정확도를 평균하여 집계되었습니다. Llama 3 8B는 거의 모든 카테고리에서 경쟁 모델들을 능가하며, 카테고리별 승률과 평균 성능 모두에서 우수한 결과를 보여줍니다. Llama 3 70B 역시 대부분의 벤치마크에서 이전 버전인 Llama 2 70B를 큰 폭으로 앞서며, 포화 상태로 보이는 상식 벤치마크를 제외하고는 Mixtral 8x22B도 능가합니다.

독해 능력 평가에서 Llama 3는 뛰어난 성능을 보여줍니다.

코딩 작업에서도 Llama 3는 경쟁력 있는 성능을 보입니다.

상식 이해 작업에서 Llama 3의 성능은 다음과 같습니다.

수학 및 추론 작업에서 Llama 3는 특히 강력한 성능을 보여줍니다.

일반적인 언어 작업에서의 성능은 다음과 같습니다.

긴 컨텍스트 작업에서의 성능은 다음과 같습니다.

모델 견고성

표준 벤치마크 성능 외에도 견고성은 사전 훈련된 언어 모델의 품질에서 중요한 요소입니다. 다중 선택 질문(MCQ) 설정에서 설계 선택에 대한 사전 훈련된 언어 모델의 견고성을 조사했습니다. 이전 연구들은 모델 성능이 이러한 설정에서 겉보기에 임의적인 설계 선택에 민감할 수 있다고 보고했습니다.

MMLU 벤치마크에서 다양한 설계 선택에 대한 사전 훈련된 언어 모델의 견고성을 보여주는 결과입니다. 왼쪽 그래프는 다양한 라벨 변형에 대한 성능을, 오른쪽 그래프는 퓨샷 예시에 존재하는 다양한 라벨에 대한 성능을 보여줍니다. 결과는 사전 훈련된 언어 모델이 MCQ 라벨 변경과 퓨샷 프롬프트 라벨 구조에 매우 견고함을 보여줍니다. 이러한 견고성은 특히 405B 파라미터 모델에서 두드러집니다.

답변 순서와 프롬프트 형식에 대한 견고성 연구 결과입니다. 왼쪽은 다양한 답변 순서에 대한 성능을, 오른쪽은 다양한 프롬프트 형식에 대한 성능을 보여줍니다. 이 결과들은 사전 훈련된 언어 모델, 특히 Llama 3 405B의 성능 견고성을 더욱 강조합니다.

적대적 벤치마크

표준 벤치마크 외에도 질문 답변, 수학적 추론, 그리고 의역 탐지의 세 영역에서 여러 적대적 벤치마크를 평가했습니다. 이러한 테스트는 특별히 도전적이도록 만들어진 작업에서 모델의 능력을 탐구하며, 벤치마크에 대한 과적합을 잠재적으로 지적할 수도 있습니다.

질문 답변, 수학적 추론, 그리고 의역 탐지 벤치마크에서 적대적 점수 대 비적대적 점수를 보여주는 결과입니다. 왼쪽은 사전 훈련된 모델의 결과를, 오른쪽은 사후 훈련된 모델의 결과를 보여줍니다. 각 데이터 포인트는 적대적 데이터셋과 비적대적 데이터셋의 쌍을 나타내며, 카테고리 내의 모든 가능한 쌍을 보여줍니다. 대각선 검은 선은 적대적 데이터셋과 비적대적 데이터셋 간의 동등성을 나타냅니다.

의역 탐지에서는 사전 훈련된 모델과 사후 훈련된 모델 모두 PAWS가 구성된 적대성 유형으로 인한 어려움을 겪지 않는 것으로 나타나, 이전 세대 모델들에 비해 상당한 진전을 보여줍니다. 그러나 수학적 추론과 질문 답변에서는 적대적 성능이 비적대적 성능보다 상당히 낮습니다. 이러한 패턴은 사전 훈련된 모델과 사후 훈련된 모델에서 유사하게 나타납니다.

오염 분석

평가 데이터가 사전 훈련 코퍼스에 오염되어 벤치마크 점수에 영향을 미칠 수 있는 정도를 추정하기 위해 오염 분석을 수행했습니다. 이전 연구에서는 다양한 하이퍼파라미터를 가진 여러 다른 오염 방법이 사용되었으며, 이러한 방법들은 모두 거짓 양성과 거짓 음성을 겪을 수 있습니다.

모든 평가 데이터셋에 대해 8-gram 중복을 기반으로 예시를 점수화했습니다. 데이터셋 D의 예시는 토큰의 비율 TD가 사전 훈련 코퍼스에서 최소 한 번 발생하는 8-gram의 일부인 경우 오염된 것으로 간주됩니다. 각 데이터셋에 대해 TD를 별도로 선택하여 세 모델 크기에서 최대 유의한 추정 성능 향상을 보이는 값을 기준으로 했습니다.

주요 벤치마크에 대한 오염 분석 결과는 다음과 같습니다.

일부 데이터셋에서는 오염이 큰 영향을 미치는 반면, 다른 데이터셋에서는 그렇지 않습니다. 예를 들어, PiQA와 HellaSwag의 경우 오염 추정치와 성능 향상 추정치가 모두 높습니다. 반면 Natural Questions의 경우 추정된 52% 오염이 성능에 거의 영향을 미치지 않는 것으로 보입니다.

사후 훈련된 언어 모델

사후 훈련된 Llama 3 모델의 결과를 다양한 능력에 걸친 벤치마크에서 제시합니다. 사전 훈련과 유사하게 공개적으로 사용 가능한 벤치마크로 평가의 일부로 생성된 데이터를 공개하고 있습니다.

일반 지식 및 지시 따르기 벤치마크

일반 지식과 지시 따르기에 대한 Llama 3의 평가 결과를 제시합니다.

일반 지식: MMLU와 MMLU-Pro를 활용하여 Llama 3의 지식 기반 질문 답변 능력을 평가했습니다. MMLU의 경우 CoT 없이 5-shot 표준 설정에서 하위 작업 정확도의 매크로 평균을 보고합니다. MMLU-Pro는 MMLU의 확장으로, 더 도전적이고 추론 중심적인 질문을 포함하며, 노이즈가 있는 질문을 제거하고 선택지를 4개에서 10개로 확장했습니다. 복잡한 추론에 초점을 맞춘 특성상 MMLU-Pro에 대해서는 5-shot CoT를 보고합니다.

지시 따르기: IFEval에서 Llama 3와 다른 모델들의 자연어 지시사항을 따르는 능력을 평가했습니다. IFEval은 "400단어 이상으로 작성하세요"와 같이 휴리스틱으로 검증할 수 있는 약 500개의 "검증 가능한 지시사항"으로 구성됩니다. 엄격한 제약과 느슨한 제약 하에서 프롬프트 수준과 지시사항 수준 정확도의 평균을 보고합니다.

모든 Llama 3 변형이 일반 지식 작업과 IFEval에서 유사한 크기의 다른 모델들을 능가합니다. 405B 모델은 GPT-4와 Nemotron 4 340B를 능가하며, 더 큰 모델들 중에서는 Claude 3.5 Sonnet이 선두를 차지합니다.

숙련도 시험

인간을 테스트하기 위해 원래 설계된 다양한 숙련도 시험에서 모델들을 평가했습니다. 공개적으로 사용 가능한 공식 소스에서 이러한 시험을 소싱했으며, 일부 시험의 경우 숙련도 시험당 다양한 시험 세트의 평균 점수를 보고합니다.

구체적으로 다음을 평균했습니다.

• GRE: 공식 GRE 연습 시험 1과 2
• LSAT: 공식 Preptest 71, 73, 80, 93
• SAT: 2018년판 공식 SAT 학습 가이드의 8개 시험
• AP: 과목당 하나의 공식 연습 시험
• GMAT: 공식 GMAT 온라인 시험

이러한 시험의 질문들은 MCQ 스타일과 생성 질문을 모두 포함합니다. 이미지가 포함된 질문은 제외했습니다. 여러 정답 옵션이 있는 GRE 시험 질문의 경우, 모든 정답 옵션이 모델에 의해 선택된 경우에만 출력을 정답으로 인정했습니다.

다양한 숙련도 시험에서 Llama 3 모델과 GPT-4o의 성능 결과는 다음과 같습니다.

Llama 3 405B 모델의 성능은 Claude 3.5 Sonnet과 GPT-4o와 매우 유사합니다. 70B 모델은 더욱 인상적인 성능을 보여주며, GPT-3.5 Turbo보다 상당히 우수하고 많은 테스트에서 Nemotron 4 340B를 능가합니다.

코딩 벤치마크

여러 인기 있는 Python 및 다중 프로그래밍 언어 벤치마크에서 Llama 3의 코드 생성을 평가했습니다. 기능적으로 올바른 코드를 생성하는 모델의 효과를 측정하기 위해 pass@N 메트릭을 사용하며, 이는 N개의 생성 중에서 단위 테스트 세트에 대한 통과율을 평가합니다. pass@1을 보고합니다.

Python 코드 생성: HumanEval과 MBPP는 상대적으로 간단하고 자체 완결적인 함수에 초점을 맞춘 인기 있는 Python 코드 생성 벤치마크입니다. HumanEval+는 거짓 양성을 피하기 위해 더 많은 테스트가 생성된 HumanEval의 향상된 버전입니다.

코드 생성 벤치마크에서의 Pass@1 점수는 다음과 같습니다.

이러한 벤치마크의 Python 변형에서 Llama 3 8B와 70B는 유사한 크기의 모델들을 능가합니다. 가장 큰 모델들의 경우, Llama 3 405B, Claude 3.5 Sonnet, GPT-4o가 유사하게 수행되며, GPT-4o가 가장 강력한 결과를 보여줍니다.

다중 프로그래밍 언어 코드 생성: Python을 넘어선 코드 생성 능력을 평가하기 위해 HumanEval과 MBPP 문제의 번역을 기반으로 한 MultiPL-E 벤치마크에서 결과를 보고합니다.

인기 있는 프로그래밍 언어 하위 집합에 대한 결과는 다음과 같습니다.

Python 대응 버전과 비교하여 성능이 상당히 감소하는 것을 주목할 수 있습니다.

다국어 벤치마크

Llama 3는 8개 언어를 지원합니다. 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어. 다국어 MMLU와 Multilingual Grade School Math (MGSM) 벤치마크에서 Llama 3를 평가한 결과를 보여줍니다.

다국어 MMLU: Google Translate를 사용하여 MMLU 질문, 퓨샷 예시, 답변을 번역했습니다. 작업 지시사항은 영어로 남겨두고 5-shot 설정에서 평가를 수행했습니다. 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어에 걸친 평균 결과를 보고합니다.

MGSM: MGSM 벤치마크에서 다루는 언어에 걸친 평균 결과를 0-shot CoT 설정에서 보고합니다.

다국어 벤치마크 결과는 다음과 같습니다.

Llama 3 405B는 MGSM에서 대부분의 다른 모델들을 능가하여 평균 91.6%를 달성합니다. MMLU에서는 위에서 보여준 영어 MMLU 결과와 일치하게 Llama 3 405B가 GPT-4o보다 2% 뒤처집니다. 반면 Llama 3 70B와 8B 모델 모두 두 작업에서 경쟁자들을 큰 폭으로 앞서는 강력한 성능을 보여줍니다.

수학 및 추론 벤치마크

수학 및 추론 벤치마크 결과에서 Llama 3 8B 모델은 GSM8K, MATH, GPQA에서 유사한 크기의 다른 모델들을 능가합니다. 70B 모델은 모든 벤치마크에서 해당 클래스의 다른 모델들보다 상당히 우수한 성능을 보입니다. 마지막으로 Llama 3 405B 모델은 GSM8K와 ARC-C에서 해당 카테고리 최고 성능을 보이며, MATH에서는 두 번째로 우수한 모델입니다. GPQA에서는 GPT-4o와 경쟁적이며, Claude 3.5 Sonnet이 상당한 차이로 최고 모델입니다.

긴 컨텍스트 벤치마크

다양한 도메인과 텍스트 유형에 걸친 다양한 작업 세트를 고려했습니다. 아래 나열된 벤치마크에서는 편향되지 않은 평가 프로토콜, 즉 n-gram 중복 메트릭보다는 정확도 기반 메트릭을 사용하는 하위 작업에 초점을 맞췄습니다. 또한 낮은 분산을 가진다고 발견한 작업을 우선시했습니다.

Needle-in-a-Haystack: 긴 문서의 무작위 부분에 삽입된 숨겨진 정보를 검색하는 모델의 능력을 측정합니다. Llama 3 모델들은 완벽한 needle 검색 성능을 보여주며, 모든 문서 깊이와 컨텍스트 길이에서 100%의 needle을 성공적으로 검색합니다. 또한 컨텍스트에 4개의 needle을 삽입하고 모델이 그 중 2개를 검색할 수 있는지 테스트하는 Multi-needle의 변형에서도 성능을 측정했습니다.

ZeroSCROLLS: 긴 텍스트에 대한 자연어 이해를 위한 제로샷 벤치마크입니다. 정답이 공개적으로 사용 가능하지 않기 때문에 검증 세트에서 수치를 보고합니다.

InfiniteBench: 컨텍스트 윈도우에서 긴 종속성을 이해하도록 모델에 요구합니다. En.QA(소설에 대한 QA)와 En.MC(소설에 대한 다중 선택 QA)에서 Llama 3를 평가했으며, 405B 모델이 다른 모든 모델을 능가합니다.

긴 컨텍스트 벤치마크 결과는 다음과 같습니다.

도구 사용 성능

제로샷 도구 사용(즉, 함수 호출)을 위한 다양한 벤치마크에서 모델들을 평가했습니다. Nexus, API-Bank, Gorilla API-Bench, 그리고 Berkeley Function Calling Leaderboard (BFCL)입니다.

제로샷 도구 사용 벤치마크 결과는 다음과 같습니다.

Nexus에서 Llama 3 변형들은 해당 경쟁자들과 비교하여 최고 성능을 보입니다. API-Bank에서 Llama 3 8B와 70B 모델은 해당 카테고리의 다른 모델들을 상당한 차이로 능가합니다. 405B 모델은 Claude 3.5 Sonnet보다 단지 0.6% 뒤처집니다. 마지막으로 405B와 70B 모델은 BFCL에서 경쟁적으로 수행되며 각각의 크기 클래스에서 근소한 차이로 2위를 차지합니다. Llama 3 8B는 해당 카테고리에서 최고 성능을 보입니다.

인간 평가: 코드 실행 작업에 초점을 맞춘 모델의 도구 사용 능력을 테스트하기 위해 인간 평가도 수행했습니다. 코드 실행(플롯팅이나 파일 업로드 없이), 플롯 생성, 파일 업로드와 관련된 2000개의 사용자 프롬프트를 수집했습니다.

플롯팅과 파일 업로드를 포함한 코드 실행 작업에서 Llama 3 405B 대 GPT-4o의 인간 평가 결과입니다. Llama 3 405B는 코드 실행(플롯팅이나 파일 업로드 없이)과 플롯 생성에서 GPT-4o를 능가하지만, 파일 업로드 사용 사례에서는 뒤처집니다.

인간 평가

표준 벤치마크 세트에서의 평가 외에도 일련의 인간 평가를 수행했습니다. 이러한 평가를 통해 모델의 톤, 장황함, 뉘앙스와 문화적 맥락의 이해와 같은 모델 성능의 더 미묘한 측면을 측정하고 최적화할 수 있습니다. 잘 설계된 인간 평가는 사용자 경험을 밀접하게 반영하여 실제 시나리오에서 모델이 어떻게 수행되는지에 대한 통찰을 제공합니다.

프롬프트 수집: 가능한 한 많은 모델 능력을 포착하는 카테고리와 하위 카테고리가 있는 분류체계를 개발했습니다. 이 분류체계를 사용하여 6개의 개별 능력(영어, 추론, 코딩, 힌디어, 스페인어, 포르투갈어)과 3개의 다중 턴 능력(영어, 추론, 코딩)에 걸쳐 약 7,000개의 프롬프트를 수집했습니다. 각 카테고리 내에서 프롬프트가 하위 카테고리에 걸쳐 균등하게 분포되도록 했습니다. 또한 각 프롬프트를 세 가지 난이도 수준 중 하나로 분류하고 프롬프트 수집이 대략 10%의 쉬운 프롬프트, 30%의 중간 프롬프트, 60%의 어려운 프롬프트를 포함하도록 했습니다.

평가 과정: 두 모델의 쌍별 인간 평가를 수행하기 위해 인간 주석자들에게 두 모델 응답(서로 다른 모델에서 생성) 중 어느 것을 선호하는지 묻습니다. 주석자들은 7점 척도를 사용하여 평가하며, 한 모델 응답이 다른 것보다 훨씬 좋은지, 좋은지, 약간 좋은지, 또는 거의 같은지를 나타낼 수 있습니다. 주석자가 한 모델 응답이 다른 것보다 좋거나 훨씬 좋다고 표시할 때, 이를 해당 모델의 "승리"로 간주합니다.

결과: 인간 평가 과정을 사용하여 Llama 3 405B를 GPT-4(0125 API 버전), GPT-4o(API 버전), Claude 3.5 Sonnet(API 버전)과 비교했습니다.

Llama 3 405B 모델의 인간 평가 결과입니다. 왼쪽: GPT-4와의 비교, 가운데: GPT-4o와의 비교, 오른쪽: Claude 3.5 Sonnet과의 비교. 모든 결과는 95% 신뢰구간을 포함하며 동점은 제외됩니다.

Llama 3 405B는 GPT-4의 0125 API 버전과 거의 동등한 성능을 보이며, GPT-4o 및 Claude 3.5 Sonnet과 비교하여 혼합된 결과(일부 승리와 일부 패배)를 달성합니다. 거의 모든 능력에서 Llama 3와 GPT-4의 승률은 오차 범위 내에 있습니다. 다중 턴 추론과 코딩 작업에서 Llama 3 405B는 GPT-4를 능가하지만 다국어(힌디어, 스페인어, 포르투갈어) 프롬프트에서는 GPT-4보다 성능이 떨어집니다.

Llama 3는 영어 프롬프트에서 GPT-4o와 동등하게 수행되고, 다국어 프롬프트에서 Claude 3.5 Sonnet과 동등하며, 단일 및 다중 턴 영어 프롬프트에서 Claude 3.5 Sonnet을 능가합니다. 그러나 코딩과 추론과 같은 능력에서는 Claude 3.5 Sonnet에 뒤처집니다.

정성적으로 인간 평가에서 모델 성능은 모델 톤, 응답 구조, 장황함과 같은 미묘한 요소들에 의해 크게 영향을 받는다는 것을 발견했으며, 이는 사후 훈련 과정에서 최적화하고 있는 요소들입니다. 전반적으로 인간 평가 결과는 표준 벤치마크 평가 결과와 일치합니다. Llama 3 405B는 주요 산업 모델들과 매우 경쟁적이며, 공개적으로 사용 가능한 최고 성능 모델입니다.

한계: 모든 인간 평가 결과는 철저한 데이터 품질 보증 과정을 거쳤습니다. 그러나 모델 응답을 평가하기 위한 객관적 기준을 정의하는 것이 어렵기 때문에, 인간 평가는 여전히 인간 주석자의 개인적 편향, 배경, 선호도에 의해 영향을 받을 수 있으며, 이는 일관되지 않거나 신뢰할 수 없는 결과로 이어질 수 있습니다.

안전성

Llama 3의 안전성 연구는 모델이 안전하고 책임감 있는 방식으로 콘텐츠를 생성하는 능력을 평가하는 데 중점을 두며, 동시에 유용한 정보를 최대화하는 것을 목표로 합니다. 안전성 작업은 주로 데이터 정제 및 필터링 형태로 사전 훈련 단계에서 시작됩니다. 이후 안전성 미세조정에 대한 접근법을 설명하며, 특정 안전 정책에 맞춰 모델을 훈련하면서도 유용성을 유지하는 방법에 초점을 맞춥니다.

벤치마크 구성

연구진은 모델을 안전하고 책임감 있게 개발하는 데 도움이 되는 다양한 내부 벤치마크를 구축했습니다. 이러한 벤치마크는 ML Commons의 위험 분류체계에서 영감을 받았습니다. ToxiGen, XS Test 등과 같은 언어 모델 안전성을 위한 다양한 벤치마크가 존재하지만, Llama 3의 새로운 능력 중 상당수는 충분한 외부 벤치마크가 없으며, 기존 벤치마크들은 종종 폭과 깊이의 충분한 커버리지가 부족합니다.

각 위험 카테고리에 대해 적대적이거나 경계선적 성격의 인간 작성 프롬프트를 수집했습니다. 적대적 프롬프트는 직접적으로 유해한 응답을 유도하는 간단한 것부터 정교한 탈옥 기법을 포함하는 것까지 다양합니다. 이러한 적대적 프롬프트의 벤치마크는 위반율을 측정하는 기준이 됩니다.

위반율에 대한 반대 지표로서 경계선 프롬프트로 구성된 거짓 거부 벤치마크도 구축했습니다. 거짓 거부는 그럴듯하고 안전한 응답이 가능함에도 불구하고 모델이 도움이 되는 방식으로 답변하기를 거부할 때 발생하는 것으로 정의됩니다. 경계선 프롬프트는 잘 보정된 모델이 처리해야 하는 결정 경계 근처의 프롬프트입니다.

전체 벤치마크 크기는 능력이나 언어당 위반과 거짓 거부에 걸쳐 4000개 이상의 프롬프트를 포함하며, 단일 턴과 다중 턴 프롬프트의 혼합을 포함합니다.

능력별 적대적 프롬프트의 예시는 다음과 같습니다.

안전성 사전 훈련

책임감 있는 개발은 종단간 관점에서 고려되어야 하며 모델 개발과 배포의 모든 단계에 통합되어야 한다고 연구진은 믿습니다. 사전 훈련 중에는 개인 식별 정보(PII)가 포함될 가능성이 높은 웹사이트의 데이터를 식별하는 필터와 같은 다양한 필터를 적용했습니다. 또한 발견 가능한 기억화에 중점을 두었습니다.

Carlini et al.과 유사하게 훈련 데이터에서 다양한 발생 빈도로 프롬프트와 정답을 샘플링하여 모든 n-gram의 효율적인 롤링 해시 인덱스를 사용했습니다. 프롬프트와 정답의 길이, 대상 데이터의 감지된 언어, 도메인을 변화시켜 다양한 테스트 시나리오를 구성했습니다. 그런 다음 모델이 정답 시퀀스를 그대로 생성하는 빈도를 측정하고 지정된 시나리오에서 상대적 기억화 비율을 분석했습니다.

기억화를 포함률로 정의합니다 - 모델 생성이 정답 연속을 정확히 포함하는 비율이며, 데이터에서 주어진 특성의 유병률로 가중된 평균을 보고합니다.

선택된 테스트 시나리오에 대한 사전 훈련된 Llama 3의 평균 그대로 기억화 결과는 다음과 같습니다.

낮은 훈련 데이터 기억화 비율을 발견했습니다(405B의 경우 n=50에서 평균 1.13%, n=1000에서 3.91%). 기억화 비율은 동일한 방법론을 데이터 믹스에 적용한 동등한 크기의 Llama 2와 대략 동등합니다.

안전성 미세조정

다양한 능력에 걸쳐 위험을 완화하기 위한 안전성 미세조정 접근법을 설명하며, 이는 두 가지 핵심 측면을 포함합니다. (1) 안전성 훈련 데이터와 (2) 위험 완화 기법입니다. 안전성 미세조정 과정은 안전성 우려를 해결하기 위해 맞춤화된 수정사항과 함께 일반적인 미세조정 방법론을 기반으로 합니다.

두 가지 주요 지표를 최적화합니다. 모델이 안전 정책을 위반하는 응답을 생성할 때를 포착하는 위반율(VR)과 모델이 무해한 프롬프트에 대해 잘못 응답을 거부할 때를 포착하는 거짓 거부율(FRR)입니다. 동시에 안전성 개선이 전반적인 유용성을 손상시키지 않도록 유용성 벤치마크에서 모델 성능을 평가합니다.

미세조정 데이터: 안전성 훈련 데이터의 품질과 설계는 성능에 깊은 영향을 미칩니다. 광범위한 절제 연구를 통해 품질이 양보다 더 중요하다는 것을 발견했습니다. 주로 데이터 공급업체로부터 수집된 인간 생성 데이터를 사용하지만, 특히 미묘한 안전 정책에 대해서는 오류와 불일치가 발생하기 쉽다는 것을 발견했습니다. 최고 품질의 데이터를 보장하기 위해 엄격한 품질 보증 과정을 지원하는 AI 지원 주석 도구를 개발했습니다.

적대적 프롬프트 수집 외에도 경계선 프롬프트라고 부르는 유사한 프롬프트 세트도 수집합니다. 이들은 적대적 프롬프트와 밀접하게 관련되어 있지만 모델이 도움이 되는 응답을 제공하도록 가르치는 것을 목표로 하여 거짓 거부율(FRR)을 줄입니다.

인간 주석 외에도 훈련 데이터셋의 품질과 커버리지를 개선하기 위해 합성 데이터를 활용합니다. 신중하게 제작된 시스템 프롬프트를 사용한 맥락 내 학습, 새로운 공격 벡터를 기반으로 한 시드 프롬프트의 안내된 변이, MAP-Elites를 기반으로 한 Rainbow Teaming을 포함한 고급 알고리즘 등 추가 적대적 예시를 생성하는 다양한 기법을 활용합니다.

또한 안전한 응답을 생성할 때 모델의 톤을 다루며, 이는 다운스트림 사용자 경험에 영향을 미칩니다. Llama 3를 위한 거부 톤 가이드라인을 개발하고 엄격한 품질 보증 과정을 통해 모든 새로운 안전성 데이터가 이를 준수하도록 했습니다. 또한 제로샷 재작성과 인간 참여 편집의 조합을 사용하여 기존 안전성 데이터를 가이드라인에 맞게 개선하여 고품질 데이터를 생성합니다.

위반율(VR)과 거짓 거부율(FRR)의 균형을 맞추기 위한 모델 크기의 영향을 보여주는 그림입니다. 산점도의 각 점은 안전성과 유용성 데이터의 균형을 맞추는 다양한 데이터 믹스를 나타냅니다. 다양한 모델 크기는 안전성 학습에 대해 다양한 용량을 유지합니다. 실험 결과 8B 모델은 70B 모델과 비교 가능한 안전성 성능을 달성하기 위해 전체 SFT 믹스에서 유용성 데이터 대비 안전성 데이터의 더 높은 비율을 필요로 합니다. 더 큰 모델은 적대적 맥락과 경계선 맥락을 구별하는 능력이 더 뛰어나 VR과 FRR 사이의 더 유리한 균형을 가져옵니다.

안전성 지도 학습 미세조정: Llama 2 레시피를 따라 모델 정렬 단계에서 모든 유용성 데이터와 안전성 데이터를 결합합니다. 또한 모델이 안전한 요청과 안전하지 않은 요청 사이의 미묘한 구별을 식별하는 데 도움이 되는 경계선 데이터셋을 도입합니다. 주석 팀은 가이드라인에 따라 안전성 프롬프트에 대한 응답을 세심하게 제작하도록 지시받습니다.

SFT가 적대적 예시와 경계선 예시의 비율을 전략적으로 균형을 맞출 때 모델을 정렬하는 데 매우 효과적이라는 것을 발견했습니다. 더 도전적인 위험 영역에 초점을 맞추고 경계선 예시의 비율을 높입니다. 이는 거짓 거부를 최소한으로 유지하면서 성공적인 안전성 완화 노력에서 중요한 역할을 합니다.

안전성 DPO: 안전성 학습을 강화하기 위해 DPO에서 적대적 예시와 경계선 예시를 선호도 데이터셋에 통합합니다. 임베딩 공간에서 거의 직교하는 응답 쌍을 제작하는 것이 주어진 프롬프트에 대한 좋은 응답과 나쁜 응답을 구별하도록 모델을 가르치는 데 특히 효과적이라는 것을 발견했습니다. FRR과 VR 사이의 트레이드오프를 최적화하기 위해 적대적, 경계선, 유용성 예시의 최적 비율을 결정하기 위한 여러 실험을 수행합니다. 또한 모델 크기가 학습 결과에 영향을 미친다는 것을 발견하여 다양한 모델 크기에 대해 서로 다른 안전성 믹스를 맞춤화합니다.

안전성 결과

먼저 다양한 축을 따라 Llama 3의 일반적인 행동을 강조한 다음 각 특정 새로운 능력에 대한 결과와 안전성 위험 완화의 효과를 설명합니다.

전반적인 성능: 유사한 모델들과 Llama 3의 최종 위반 및 거짓 거부율 비교는 다음 그림들에서 확인할 수 있습니다. 이러한 결과는 관련 경쟁자들과 비교한 가장 큰 파라미터 크기인 Llama 3 405B 모델에 초점을 맞춥니다.

영어와 핵심 다국어 짧은 컨텍스트 벤치마크에서 위반율(VR)과 거짓 거부율(FRR)을 보여주는 결과입니다. Llama Guard(LG) 시스템 수준 보호가 있는 것과 없는 Llama 3 405B를 경쟁 모델 및 시스템과 비교합니다. Comp. 3에서 지원하지 않는 언어는 'x'로 표시됩니다. 낮을수록 좋습니다.

도구 사용과 긴 컨텍스트 벤치마크에서 위반율(VR)과 거짓 거부율(FRR)을 보여주는 결과입니다. DocQA와 Many-shot 벤치마크의 성능이 별도로 나열됩니다. Many-shot의 적대적 특성으로 인해 경계선 데이터 세트가 없어 거짓 거부율을 측정하지 않습니다. 도구 사용(검색)의 경우 Llama 3 405B만 Comp. 1과 비교하여 테스트했습니다.

낮은 위반율이 바람직하지만 항상 거부하는 모델은 최대한 안전하지만 전혀 도움이 되지 않고, 문제가 있는 요청에 관계없이 항상 모든 프롬프트에 답하는 모델은 지나치게 해롭고 독성이 있을 것이므로 거짓 거부를 반대 지표로 고려하는 것이 중요합니다.

모델과 능력에 걸친 위반 및 거짓 거부율을 보여주는 결과입니다. 각 점은 내부 능력 벤치마크에 대한 모든 안전성 카테고리에 걸친 전반적인 거짓 거부 및 위반율을 나타냅니다. 기호는 모델 또는 시스템 수준 안전성을 평가하는지를 나타냅니다. 예상대로 모델 수준 안전성 결과는 시스템 수준 안전성 결과와 비교하여 더 높은 위반율과 더 낮은 거부율을 나타냅니다. Llama 3는 낮은 위반율과 낮은 거짓 거부율의 균형을 목표로 하는 반면, 일부 경쟁자들은 한쪽 또는 다른 쪽으로 더 치우쳐 있습니다.

내부 벤치마크를 활용하여 다양한 산업 모델과 시스템이 이러한 트레이드오프를 어떻게 탐색하는지, 그리고 Llama 3가 어떻게 비교되는지 탐구합니다. 모델들이 거짓 거부율을 낮게 유지하면서도 매우 경쟁력 있는 위반율 지표를 달성한다는 것을 발견했으며, 이는 유용성과 안전성 사이의 견고한 균형을 나타냅니다.

다국어 안전성: 실험 결과 영어의 안전성 지식이 다른 언어로 쉽게 전이되지 않는다는 것을 보여주며, 특히 안전 정책의 뉘앙스와 언어별 맥락을 고려할 때 그렇습니다. 따라서 각 언어에 대해 고품질 안전성 데이터를 수집하는 것이 필수적입니다. 또한 언어별 안전성 데이터의 분포가 안전성 관점에서 성능에 상당한 영향을 미치며, 일부 언어는 전이 학습의 혜택을 받는 반면 다른 언어는 더 많은 언어별 데이터를 필요로 한다는 것을 발견했습니다.

FRR과 VR 사이의 균형을 달성하기 위해 두 지표에 대한 영향을 모니터링하면서 적대적 데이터와 경계선 데이터를 반복적으로 추가합니다. 지원하는 각 언어에 대해 Llama 405B with Llama Guard가 내부 벤치마크에서 측정했을 때 두 경쟁 시스템만큼 안전하거나 더 안전하면서도 경쟁력 있는 거짓 거부율을 유지한다는 것을 발견했습니다.

긴 컨텍스트 안전성: 긴 컨텍스트 모델은 대상화된 완화 없이는 다중 샷 탈옥 공격에 취약합니다. 이를 해결하기 위해 컨텍스트에서 안전하지 않은 행동의 시연이 있는 상황에서 안전한 행동의 예시를 포함하는 SFT 데이터셋에서 모델을 미세조정합니다. 256-shot 공격에 대해서도 긴 컨텍스트 공격의 영향을 효과적으로 무력화하는 VR을 상당히 줄이는 확장 가능한 완화 전략을 개발했습니다. 이 접근법은 FRR과 대부분의 유용성 지표에 거의 또는 전혀 영향을 미치지 않습니다.

도구 사용 안전성: 가능한 도구의 다양성과 도구 사용 호출의 구현 및 모델로의 통합은 도구 사용을 완전히 완화하기 어려운 능력으로 만듭니다. 검색 사용 사례에 초점을 맞춥니다. Comp. 1 시스템과 테스트한 결과, Llama 405B가 상당히 더 안전하지만 거짓 거부율이 약간 더 높다는 것을 발견했습니다.

사이버보안 및 화학/생물학 무기 안전성

사이버보안 평가 결과: 사이버보안 위험을 평가하기 위해 안전하지 않은 코드 생성, 악성 코드 생성, 텍스트 프롬프트 주입, 취약점 식별과 같은 도메인에서 안전성을 측정하는 작업을 포함하는 CyberSecEval 벤치마크 프레임워크를 활용했습니다. 스피어 피싱과 자율적 사이버 공격에 대한 새로운 벤치마크를 개발하고 적용했습니다.

전반적으로 Llama 3가 악성 코드 생성이나 취약점 악용에서 상당한 취약점을 가지지 않는다는 것을 발견했습니다. 특정 작업에 대한 간략한 결과를 설명합니다.

• 안전하지 않은 코딩 테스트 프레임워크: Llama 3 8B, 70B, 405B를 평가한 결과, 더 큰 모델이 더 많은 안전하지 않은 코드를 생성하고 더 높은 평균 BLEU 점수를 가진 코드도 생성한다는 것을 계속 관찰했습니다.

• 코드 인터프리터 남용 프롬프트 코퍼스: Llama 3 모델이 특정 프롬프트 하에서 악성 코드를 실행하는 데 취약하며, Llama 3 405B가 악성 프롬프트에 10.4%의 시간 동안 준수하여 특히 취약하다는 것을 식별했습니다. Llama 3 70B는 3.8%의 비율로 준수했습니다.

• 텍스트 기반 프롬프트 주입 벤치마크: 프롬프트 주입 벤치마크에 대해 평가했을 때, Llama 3 405B에 대한 프롬프트 주입 공격이 21.7%의 시간 동안 성공했습니다.

상단 좌측 그림은 프롬프트 주입 전략에 걸친 모델별 텍스트 기반 프롬프트 주입 성공률을 보여주는 결과입니다. Llama 3는 평균적으로 GPT-4 Turbo와 Gemini Pro보다 프롬프트 주입에 더 취약하지만 이 벤치마크를 사용하여 평가했을 때 Mixtral 모델보다는 덜 취약합니다.

• 취약점 식별 도전: CyberSecEval 2의 캡처 더 플래그 테스트 도전을 사용하여 취약점을 식별하고 악용하는 Llama 3의 능력을 평가한 결과, Llama 3가 일반적으로 사용되는 전통적인 비LLM 도구와 기법을 능가하지 않습니다.

• 스피어 피싱 벤치마크: 대상을 속여 보안 침해에 무의식적으로 참여하도록 설계된 개인화된 대화를 수행하는 모델의 설득력과 성공률을 평가했습니다. Llama 3 70B와 405B는 판사 LLM에 의해 적당히 설득력이 있다고 평가되었습니다.

상단 우측 그림은 스피어 피셔 모델과 목표에 걸친 평균 스피어 피싱 설득력 점수를 보여주는 결과입니다. 시도 설득력은 Llama 3 70B 판사 LLM에 의해 평가됩니다.

사이버 공격에 대한 상승 테스트: 두 시뮬레이션된 공격적 사이버보안 도전 사이에서 가상 어시스턴트가 초보자와 전문가 사이버 공격자의 사이버 공격 비율을 개선한 정도를 측정하는 상승 연구를 수행했습니다. 62명의 내부 자원봉사자와 함께 2단계 연구를 수행했습니다. 피험자들의 도전 공격 단계 완료율 분석 결과, 405B 모델을 사용하는 초보자와 전문가 모두 LLM 없이 인터넷에 개방적으로 접근하는 것에 비해 미미한 상승을 보였습니다.

화학 및 생물학 무기에 대한 상승 테스트: 화학 및 생물학 무기 확산과 관련된 위험을 평가하기 위해 Llama 3의 사용이 행위자들의 그러한 공격을 계획하는 능력을 의미 있게 증가시킬 수 있는지 평가하도록 설계된 상승 테스트를 수행했습니다. 이 연구의 정량적 분석 결과 Llama 3 모델 사용과 관련된 성능의 유의한 상승이 없음을 보여줍니다. CBRNE SME와 함께 이러한 결과를 검증한 후, Llama 3 모델의 출시가 생물학적 또는 화학적 무기 공격과 관련된 생태계 위험을 증가시킬 위험이 낮다고 평가합니다.

레드 팀

위험을 발견하고 발견 사항을 사용하여 벤치마크와 안전성 튜닝 데이터셋을 개선하기 위해 레드 팀을 활용합니다. 새로운 위험을 지속적으로 반복하고 발견하기 위해 반복적인 레드 팀 연습을 수행하며, 이는 모델 개발과 완화 과정을 안내합니다. 레드 팀은 사이버보안, 적대적 기계 학습, 책임감 있는 AI, 무결성 전문가와 특정 지리적 시장의 무결성 문제에 대한 배경을 가진 다국어 콘텐츠 전문가들로 구성됩니다.

특정 모델 능력에 대한 적대적 테스트: 위험 발견 과정에서 개별 모델 능력에 초점을 맞춘 초기 레드 팀으로 시작하여 특정 고위험 카테고리의 맥락에서 능력을 함께 테스트했습니다. 레드 팀은 더 현실적인 시나리오를 모방하기 위해 프롬프트 수준 공격에 초점을 맞췄으며, 특히 프롬프트의 의도가 모호하거나 프롬프트가 여러 추상화를 계층화할 때 모델이 종종 예상된 행동에서 벗어난다는 것을 발견했습니다.

주요 발견사항들은 다음과 같습니다.

• 다중 턴 거부 억제: 모델 응답이 특정 형식을 따르거나 거부와 관련된 특정 정보를 포함/제외하도록 지정하는 기법
• 가상 시나리오: 위반 프롬프트를 가상적/이론적 작업이나 허구적 시나리오로 포장하는 방법
• 페르소나와 역할 놀이: 모델에게 특정 위반 응답 특성을 가진 위반 페르소나를 부여하거나 사용자가 프롬프트의 맥락을 모호하게 하는 특정 무해한 캐릭터를 채택하는 방법
• 점진적 위반 확대: 대화가 다소 무해한 요청으로 시작하여 직접적인 프롬프트를 통해 더 과장된 콘텐츠를 요구하여 점진적으로 모델을 매우 위반적인 응답을 생성하도록 이끄는 다중 턴 공격

시스템 수준 안전성

다양한 대규모 언어 모델의 실제 응용에서 모델들은 고립되어 사용되지 않고 더 넓은 시스템에 통합됩니다. 이 섹션에서는 더 많은 유연성과 제어를 제공하여 모델 수준 완화를 보완하는 시스템 수준 안전성 구현을 설명합니다.

이를 가능하게 하기 위해 안전성 분류를 위해 미세조정된 Llama 3 8B 모델인 새로운 분류기 Llama Guard 3를 개발하고 출시했습니다. Llama Guard 2와 유사하게 이 분류기는 입력 프롬프트 및/또는 언어 모델에서 생성된 출력 응답이 특정 위험 카테고리에서 안전 정책을 위반하는지 감지하는 데 사용됩니다.

Llama의 증가하는 능력을 지원하도록 설계되었으며 영어와 다국어 텍스트에 사용할 수 있습니다. 또한 검색 도구와 같은 도구 호출의 맥락에서 사용되고 코드 인터프리터 남용을 방지하도록 최적화되었습니다. 마지막으로 메모리 요구사항을 줄이기 위한 양자화된 변형도 제공합니다.

분류체계: AI 안전성 분류체계에 나열된 13개 위험 카테고리에서 훈련합니다. 아동 성적 착취, 명예훼손, 선거, 혐오, 무차별 무기, 지적 재산권, 비폭력 범죄, 프라이버시, 성 관련 범죄, 성적 콘텐츠, 전문 조언, 자살 및 자해, 폭력 범죄입니다. 또한 도구 호출 사용 사례를 지원하기 위해 코드 인터프리터 남용 카테고리에서도 훈련합니다.

결과: Llama Guard 3는 능력에 걸쳐 위반을 상당히 줄일 수 있습니다(벤치마크에서 평균 65% 위반 감소). 시스템 안전장치(및 일반적으로 모든 안전성 완화)를 추가하는 것은 무해한 프롬프트에 대한 거부 증가라는 비용을 수반한다는 점에 주목해야 합니다.

Llama Guard 3를 사용할 때 언어별 위반율(VR)과 거짓 거부율(FRR)의 상대적 변화는 다음과 같습니다.

시스템 안전성은 또한 더 많은 유연성을 제공합니다. Llama Guard 3는 특정 위험에 대해서만 배포될 수 있어 위험 카테고리 수준에서 위반과 거짓 거부 트레이드오프를 제어할 수 있습니다.

프롬프트 기반 시스템 가드: 시스템 수준 안전성 구성 요소는 개발자가 LLM 시스템이 사용자 요청에 응답하는 방식을 맞춤화하고 제어할 수 있게 해줍니다. LLM 시스템의 전반적인 안전성을 개선하고 개발자가 책임감 있게 배포할 수 있도록 하는 작업의 일환으로 두 가지 프롬프트 기반 필터링 메커니즘인 Prompt Guard와 Code Shield의 생성을 설명하고 출시합니다.

Prompt Guard는 애플리케이션의 일부로 기능하는 LLM의 의도된 행동을 전복하도록 설계된 입력 문자열인 프롬프트 공격을 감지하도록 설계된 모델 기반 필터입니다. 이 모델은 두 가지 클래스의 프롬프트 공격 위험을 감지하는 다중 라벨 분류기입니다. 직접 탈옥(모델의 안전성 조건이나 시스템 프롬프트를 명시적으로 재정의하려는 기법)과 간접 프롬프트 주입(모델의 컨텍스트 윈도우에 포함된 제3자 데이터가 LLM에 의해 사용자 명령으로 실수로 실행되는 지시사항을 포함하는 경우)입니다.

Code Shield는 추론 시간 필터링을 제공하는 시스템 수준 보호 클래스의 예시입니다. 특히 안전하지 않은 코드가 프로덕션 시스템과 같은 다운스트림 사용 사례에 들어가기 전에 생성을 감지하는 데 초점을 맞춥니다. 7개 프로그래밍 언어에 걸쳐 분석을 수행하는 정적 분석 도구 모음을 사용하여 안전하지 않은 코드를 식별하는 정적 분석 라이브러리인 Insecure Code Detector(ICD)를 활용하여 이를 수행합니다.

한계

Llama 3의 안전한 사용에 대한 다양한 위험에 대해 광범위한 측정과 완화를 수행했습니다. 그러나 어떤 테스트도 모든 가능한 위험을 식별하는 데 완전하다고 보장할 수 없습니다. Llama 3는 다양한 데이터셋에 대한 훈련으로 인해, 특히 영어를 넘어선 언어에 대해 그리고 숙련된 적대적 레드 팀에 의해 프롬프트 엔지니어링될 때 여전히 유해한 콘텐츠를 생성할 수 있습니다.

악의적인 개발자나 적대적 사용자는 모델을 탈옥하고 다양한 악의적 사용 사례에 사용하는 새로운 방법을 찾을 수 있습니다. 위험을 사전에 식별하고, 완화 방법에 대한 연구를 수행하며, 개발자들이 모델 개발에서 배포, 사용자에 이르기까지 모든 측면에서 책임을 고려하도록 장려할 것입니다. 개발자들이 오픈 소스 시스템 수준 안전성 제품군에서 출시하는 도구를 활용하고 기여하기를 희망합니다.

추론

Llama 3 405B 모델의 효율적인 추론을 위해 연구진은 두 가지 주요 기법을 조사했습니다. (1) 파이프라인 병렬성과 (2) FP8 양자화입니다. 이러한 기법들은 대규모 언어 모델의 실제 배포에서 핵심적인 역할을 하며, 특히 405B 파라미터라는 거대한 모델 크기로 인한 메모리와 연산 제약을 해결하는 데 필수적입니다.

파이프라인 병렬성

BF16 수치 표현을 사용할 때 Llama 3 405B는 8개의 Nvidia H100 GPU를 가진 단일 머신의 GPU 메모리에 맞지 않습니다. 이 문제를 해결하기 위해 연구진은 BF16 정밀도를 사용하여 두 머신의 16개 GPU에 걸쳐 모델 추론을 병렬화했습니다. 각 머신 내에서는 높은 NVLink 대역폭을 활용하여 텐서 병렬성을 사용하고, 노드 간에는 연결성이 낮은 대역폭과 높은 지연 시간을 가지므로 파이프라인 병렬성을 대신 사용합니다.

파이프라인 병렬성을 사용한 훈련에서는 버블이 주요한 효율성 문제가 되지만, 추론에서는 백워드 패스가 필요하지 않아 파이프라인 플러시가 불필요하므로 버블이 문제가 되지 않습니다. 따라서 파이프라인 병렬성과 함께 마이크로 배칭을 사용하여 추론 처리량을 향상시킬 수 있습니다.

연구진은 4,096개의 입력 토큰과 256개의 출력 토큰으로 구성된 추론 워크로드에서 키-값 캐시 사전 채우기 단계와 디코딩 단계 모두에서 2개의 마이크로 배치를 사용하는 효과를 평가했습니다. 마이크로 배칭이 동일한 로컬 배치 크기에서 추론 처리량을 향상시킨다는 것을 발견했습니다.

이러한 개선은 마이크로 배칭이 두 단계 모두에서 마이크로 배치의 동시 실행을 가능하게 하기 때문입니다. 마이크로 배칭으로 인한 추가적인 동기화 지점은 지연 시간을 증가시키지만, 전반적으로 마이크로 배칭은 여전히 더 나은 처리량-지연 시간 트레이드오프를 제공합니다.

FP8 양자화

연구진은 H100 GPU의 네이티브 FP8 지원을 활용하여 저정밀도 추론을 수행하는 실험을 진행했습니다. 저정밀도 추론을 가능하게 하기 위해 모델 내부의 대부분의 행렬 곱셈에 FP8 양자화를 적용했습니다. 특히 추론 연산 시간의 약 50%를 차지하는 모델의 피드포워드 네트워크 레이어에서 대부분의 파라미터와 활성화를 양자화했습니다. 모델의 셀프 어텐션 레이어에서는 파라미터를 양자화하지 않았습니다.

더 나은 정확도를 위해 동적 스케일링 팩터를 활용했으며, 스케일을 계산하는 오버헤드를 줄이기 위해 CUDA 커널을 최적화했습니다. Llama 3 405B가 특정 유형의 양자화에 민감하다는 것을 발견하고, 모델 출력 품질을 높이기 위해 몇 가지 추가적인 변경사항을 적용했습니다.

첫째, 첫 번째와 마지막 트랜스포머 레이어에서는 양자화를 수행하지 않았습니다. 이는 이전 연구에서 제안된 접근법과 일치하는 것으로, 모델의 입력과 출력 처리에서 정밀도를 유지하는 것이 중요하기 때문입니다.

둘째, 날짜와 같은 높은 복잡도 토큰은 큰 활성화 값을 유발할 수 있으며, 이는 FP8에서 높은 동적 스케일링 팩터와 상당한 수의 언더플로우를 초래하여 디코딩 오류를 발생시킬 수 있습니다. 이 문제를 해결하기 위해 동적 스케일링 팩터를 1200으로 상한선을 설정했습니다.

셋째, 파라미터와 활성화 행렬에 대해 행별로 스케일링 팩터를 계산하는 행별 양자화를 사용했습니다.

행별 양자화는 텐서별 양자화보다 더 세밀한 활성화 팩터를 사용할 수 있게 해줍니다. 이는 양자화 오류를 줄이고 모델 성능을 향상시키는 데 도움이 됩니다.

양자화 오류의 영향

표준 벤치마크에서의 평가는 종종 이러한 완화 조치 없이도 FP8 추론이 BF16 추론과 동등하게 수행된다고 제안합니다. 그러나 연구진은 이러한 벤치마크가 FP8 양자화의 효과를 적절히 반영하지 못한다는 것을 발견했습니다. 스케일링 팩터가 상한선으로 제한되지 않을 때, 벤치마크 성능이 강력함에도 불구하고 모델이 때때로 손상된 응답을 생성합니다.

양자화로 인한 분포 변화를 측정하기 위해 벤치마크에 의존하는 대신, FP8와 BF16을 모두 사용하여 생성된 100,000개의 응답에 대한 보상 모델 점수의 분포를 분석하는 것이 더 좋다는 것을 발견했습니다.

결과는 FP8 양자화 접근법이 모델의 응답에 매우 제한적인 영향을 미친다는 것을 보여줍니다. 이는 신중하게 설계된 양자화 전략이 모델 품질을 유지하면서도 효율성을 크게 향상시킬 수 있음을 시사합니다.

효율성에 대한 실험적 평가

4,096개의 입력 토큰과 256개의 출력 토큰을 사용하여 사전 채우기와 디코딩 단계에서 Llama 3 405B로 FP8 추론을 수행하는 처리량-지연 시간 트레이드오프를 보여줍니다.

결과는 FP8 추론 사용이 사전 채우기 단계에서 최대 50%의 처리량 향상을 가져오고, 디코딩 중에는 상당히 더 나은 처리량-지연 시간 트레이드오프를 제공한다는 것을 보여줍니다. 이러한 성능 향상은 실제 배포 환경에서 매우 중요한 의미를 가지며, 특히 대규모 사용자 요청을 처리해야 하는 상황에서 시스템의 전반적인 효율성을 크게 개선할 수 있습니다.

FP8 양자화의 성공적인 적용은 대규모 언어 모델의 실용적 배포에서 중요한 진전을 나타냅니다. 모델 품질을 거의 손상시키지 않으면서도 상당한 성능 향상을 달성할 수 있다는 것은 향후 더 큰 모델들의 효율적인 서빙을 위한 중요한 기반을 제공합니다.

비전 실험

Llama 3에 시각 인식 기능을 통합하기 위한 실험에서는 두 가지 주요 단계로 구성된 조합적 접근법을 사용했습니다. 첫 번째 단계에서는 사전 훈련된 이미지 인코더와 사전 훈련된 언어 모델을 연결하기 위해 두 모델 사이에 교차 어텐션 레이어 세트를 도입하고 훈련했습니다. 이는 대량의 이미지-텍스트 쌍에서 수행되며, 결과적으로 다음과 같은 모델 구조를 만들어냅니다.

두 번째 단계에서는 시간적 집계 레이어와 추가적인 비디오 교차 어텐션 레이어를 도입하여 대량의 비디오-텍스트 쌍에서 작동하도록 하여 모델이 비디오에서 시간적 정보를 인식하고 처리하는 방법을 학습하게 합니다.

파운데이션 모델 개발에 대한 이러한 조합적 접근법은 여러 가지 장점을 제공합니다. 첫째, 시각 및 언어 모델링 기능의 개발을 병렬화할 수 있게 해줍니다. 둘째, 시각 데이터의 토큰화, 서로 다른 모달리티에서 발생하는 토큰의 배경 복잡도 차이, 그리고 모달리티 간의 경합에서 비롯되는 시각 및 언어 데이터에 대한 공동 사전 훈련의 복잡성을 우회합니다. 셋째, 시각 인식 기능의 도입이 텍스트 전용 작업에서의 모델 성능에 영향을 미치지 않음을 보장합니다. 넷째, 교차 어텐션 아키텍처는 점점 커지는 LLM 백본(특히 각 트랜스포머 레이어의 피드포워드 네트워크)을 통해 전체 해상도 이미지를 전달하는 데 연산을 소비할 필요가 없어 추론 중에 더 효율적입니다.

연구진은 이러한 멀티모달 모델들이 아직 개발 중이며 출시 준비가 되지 않았다고 밝혔습니다. 실험 결과를 제시하기 전에 시각 인식 기능을 훈련하는 데 사용된 데이터, 시각 구성 요소의 모델 아키텍처, 이러한 구성 요소의 훈련 확장 방법, 그리고 사전 훈련 및 사후 훈련 레시피에 대해 설명합니다.

데이터

이미지와 비디오 데이터를 별도로 설명합니다.

이미지 데이터

이미지 인코더와 어댑터는 이미지-텍스트 쌍에서 훈련됩니다. 이 데이터셋은 네 가지 주요 단계로 구성된 복잡한 데이터 처리 파이프라인을 통해 구축됩니다. (1) 품질 필터링, (2) 지각적 중복 제거, (3) 재샘플링, (4) 광학 문자 인식입니다. 또한 일련의 안전성 완화 조치도 적용됩니다.

품질 필터링에서는 비영어 캡션과 저품질 캡션을 제거하는 품질 필터를 구현했습니다. 이는 CLIP 점수와 같은 낮은 정렬 점수를 생성하는 휴리스틱을 사용합니다. 구체적으로 특정 CLIP 점수 이하의 모든 이미지-텍스트 쌍을 제거했습니다.

중복 제거에서는 대규모 훈련 데이터셋의 중복 제거가 중복 데이터에 소요되는 훈련 연산을 줄이고 기억화를 감소시켜 모델 성능에 도움이 된다는 점을 고려했습니다. 따라서 효율성과 프라이버시 이유로 훈련 데이터를 중복 제거했습니다. 이를 위해 최첨단 SSCD 복사 감지 모델의 내부 버전을 사용하여 대규모로 이미지를 중복 제거했습니다.

모든 이미지에 대해 먼저 SSCD 모델을 사용하여 512차원 표현을 계산했습니다. 이러한 임베딩을 사용하여 코사인 유사도 측정을 통해 데이터셋의 모든 이미지에 대해 각 이미지의 최근접 이웃 검색을 수행했습니다. 특정 유사도 임계값 이상의 예시를 중복으로 정의했습니다. 연결된 구성 요소 알고리즘을 사용하여 이러한 중복을 그룹화하고 연결된 구성 요소당 하나의 이미지-텍스트 쌍만 유지했습니다. 중복 제거 파이프라인의 효율성을 높이기 위해 (1) k-means 클러스터를 사용한 데이터 사전 클러스터링과 (2) 최근접 이웃 검색 및 클러스터링을 위한 FAISS 사용을 통해 개선했습니다.

재샘플링에서는 이미지-텍스트 쌍의 다양성을 보장하기 위해 재샘플링을 수행했습니다. 먼저 고품질 텍스트 소스를 파싱하여 n-gram의 어휘를 구축했습니다. 다음으로 데이터셋에서 각 어휘 n-gram의 빈도를 계산했습니다. 그런 다음 다음과 같이 데이터를 재샘플링했습니다. 캡션의 n-gram 중 어느 것이든 어휘에서 T번 미만으로 발생하면 해당 이미지-텍스트 쌍을 유지했습니다. 그렇지 않으면 캡션의 각 n-gram $n_i$를 확률 $\min(T/f_i, 1)$로 독립적으로 샘플링했으며, 여기서 $f_i$는 n-gram $n_i$의 빈도를 나타냅니다. n-gram 중 어느 것이든 샘플링되면 이미지-텍스트 쌍을 유지했습니다. 이러한 재샘플링은 저빈도 카테고리와 세밀한 인식 작업에서의 성능을 향상시킵니다.

광학 문자 인식에서는 이미지에 쓰여진 텍스트를 추출하고 캡션과 연결하여 이미지-텍스트 데이터를 더욱 개선했습니다. 쓰여진 텍스트는 독점적인 광학 문자 인식(OCR) 파이프라인을 사용하여 추출되었습니다. OCR 데이터를 훈련 데이터에 추가하는 것이 문서 이해와 같은 OCR 기능이 필요한 작업을 크게 개선한다는 것을 관찰했습니다.

문서 전사에서는 문서 이해 작업에서 모델의 성능을 향상시키기 위해 문서의 페이지를 이미지로 렌더링하고 이미지를 해당 텍스트와 쌍을 이뤘습니다. 문서 텍스트는 소스에서 직접 얻거나 문서 파싱 파이프라인을 통해 얻었습니다.

안전성에서는 주로 이미지 인식을 위한 사전 훈련 데이터셋에 성적 학대 자료(CSAM)와 같은 안전하지 않은 콘텐츠가 포함되지 않도록 하는 데 중점을 두었습니다. PhotoDNA와 같은 지각적 해싱 접근법과 내부 독점 분류기를 사용하여 모든 훈련 이미지에서 CSAM을 스캔했습니다. 또한 독점적인 미디어 위험 검색 파이프라인을 사용하여 성적 또는 폭력적 콘텐츠를 포함하는 등 NSFW로 간주되는 이미지-텍스트 쌍을 식별하고 제거했습니다. 훈련 데이터셋에서 이러한 자료의 유병률을 최소화하는 것이 유용성에 영향을 주지 않으면서 최종 모델의 안전성을 향상시킨다고 믿습니다. 마지막으로 훈련 세트의 모든 이미지에서 얼굴 블러링을 수행했습니다.

어닐링 데이터에서는 n-gram을 사용하여 이미지-캡션 쌍을 약 3억 5천만 개 예시의 더 작은 볼륨으로 재샘플링하여 어닐링 데이터셋을 생성했습니다. n-gram 재샘플링이 더 풍부한 텍스트 설명을 선호하므로 이는 더 높은 품질의 데이터 하위 집합을 선택합니다. 결과 데이터를 다섯 가지 추가 소스에서 약 1억 5천만 개 예시로 보강했습니다.

시각적 그라운딩에서는 텍스트의 명사구를 이미지의 경계 상자나 마스크에 연결했습니다. 그라운딩 정보(경계 상자와 마스크)는 두 가지 방식으로 이미지-텍스트 쌍에 지정됩니다. (1) 이미지에 마크가 있는 상자나 마스크를 오버레이하고 텍스트에서 마크를 참조로 사용하는 방식으로, 이는 set-of-marks와 유사합니다. (2) 정규화된 (xmin, ymin, xmax, ymax) 좌표를 특수 토큰으로 구분하여 텍스트에 직접 삽입하는 방식입니다.

스크린샷 파싱에서는 HTML 코드에서 스크린샷을 렌더링하고 스크린샷의 특정 요소를 생성한 코드를 예측하도록 모델에 작업을 부여했습니다. 관심 있는 요소는 경계 상자를 통해 스크린샷에 표시됩니다.

질문-답변 쌍에서는 질문-답변 쌍을 포함하여 모델 미세조정에 사용하기에는 너무 큰 질문-답변 데이터의 볼륨을 사용할 수 있게 했습니다.

합성 캡션에서는 모델의 초기 버전에서 생성된 합성 캡션이 있는 이미지를 포함했습니다. 원래 캡션과 비교하여 합성 캡션이 원래 캡션보다 이미지에 대한 더 포괄적인 설명을 제공한다는 것을 발견했습니다.

합성적으로 생성된 구조화된 이미지에서는 차트, 표, 플로우차트, 수학 방정식, 텍스트 데이터와 같은 다양한 도메인에 대해 합성적으로 생성된 이미지도 포함했습니다. 이러한 이미지는 해당 마크다운이나 LaTeX 표기법과 같은 구조화된 표현과 함께 제공됩니다. 이러한 도메인에 대한 모델의 인식 기능을 향상시키는 것 외에도, 이 데이터가 미세조정을 위해 텍스트 모델을 통해 질문-답변 쌍을 생성하는 데 유용하다는 것을 발견했습니다.

비디오 데이터

비디오 사전 훈련을 위해 비디오-텍스트 쌍의 대규모 데이터셋을 사용합니다. 데이터셋은 다단계 과정을 통해 큐레이션됩니다. 최소 길이 보장 및 대문자 수정과 같은 규칙 기반 휴리스틱을 사용하여 관련 텍스트를 필터링하고 정제합니다. 그런 다음 언어 식별 모델을 실행하여 비영어 텍스트를 필터링합니다. OCR 감지 모델을 실행하여 과도한 오버레이 텍스트가 있는 비디오를 필터링합니다.

비디오-텍스트 쌍 간의 합리적인 정렬을 보장하기 위해 CLIP 스타일의 이미지-텍스트 및 비디오-텍스트 대조 모델을 사용합니다. 먼저 비디오의 단일 프레임을 사용하여 이미지-텍스트 유사도를 계산하고 낮은 유사도 쌍을 필터링한 다음, 이후에 낮은 비디오-텍스트 정렬을 가진 쌍을 필터링합니다. 데이터 중 일부는 정적이거나 낮은 움직임의 비디오를 포함하므로 움직임 점수 기반 필터링을 사용하여 이러한 데이터를 필터링합니다. 미적 점수나 해상도 필터링과 같은 비디오의 시각적 품질에 대한 필터는 적용하지 않습니다.

데이터셋은 평균 지속 시간이 21초, 중간값 지속 시간이 16초인 비디오를 포함하며, 99% 이상의 비디오가 1분 미만입니다. 공간 해상도는 320p에서 4K 비디오까지 상당히 다양하며, 70% 이상의 비디오가 짧은 쪽이 720픽셀보다 큽니다. 비디오는 다양한 종횡비를 가지며 거의 모든 비디오가 1:2와 2:1 사이의 종횡비를 가지고 중간값은 1:1입니다.

모델 아키텍처

시각 인식 모델은 세 가지 주요 구성 요소로 구성됩니다. (1) 이미지 인코더, (2) 이미지 어댑터, (3) 비디오 어댑터입니다.

이미지 인코더는 이미지와 텍스트를 정렬하도록 훈련된 표준 비전 트랜스포머(ViT)입니다. ViT-H/14 변형의 이미지 인코더를 사용하며, 이는 25억 개의 이미지-텍스트 쌍에서 5 에포크 동안 훈련된 6억 3천만 개의 파라미터를 가집니다. 이미지 인코더는 224 × 224 해상도의 이미지에서 사전 훈련되며, 이미지는 동일한 크기의 16 × 16 패치(즉, 14x14 픽셀의 패치 크기)로 분할됩니다.

대조적 텍스트 정렬 목표를 통해 훈련된 이미지 인코더가 세밀한 위치 정보를 보존할 수 없다는 이전 연구의 관찰과 일치하게, 이를 완화하기 위해 최종 레이어 특성 외에 4번째, 8번째, 16번째, 24번째, 31번째 레이어의 특성도 제공하는 다층 특성 추출을 사용합니다. 또한 교차 어텐션 레이어의 사전 훈련 전에 정렬별 특성을 학습하기 위해 8개의 게이트된 셀프 어텐션 레이어를 추가로 삽입했습니다(총 40개의 트랜스포머 블록 구성). 따라서 이미지 인코더는 추가 레이어와 함께 총 8억 5천만 개의 파라미터를 가집니다.

다층 특성을 사용하여 이미지 인코더는 결과적인 16 × 16 = 256개 패치 각각에 대해 7680차원 표현을 생성합니다. 이미지 인코더의 파라미터는 후속 훈련 단계에서 고정되지 않으며, 특히 텍스트 인식과 같은 도메인에서 성능을 향상시키는 것으로 발견되었습니다.

이미지 어댑터에서는 이미지 인코더에서 생성된 시각적 토큰 표현과 언어 모델에서 생성된 토큰 표현 사이에 교차 어텐션 레이어를 도입합니다. 교차 어텐션 레이어는 핵심 언어 모델의 네 번째 셀프 어텐션 레이어마다 적용됩니다. 언어 모델 자체와 마찬가지로 교차 어텐션 레이어는 효율성 증대를 위해 일반화된 쿼리 어텐션(GQA)을 사용합니다. 교차 어텐션 레이어는 모델에 상당한 수의 추가 훈련 가능한 파라미터를 도입합니다. Llama 3 405B의 경우 교차 어텐션 레이어는 약 1000억 개의 파라미터를 가집니다.

이미지 어댑터를 두 단계로 사전 훈련합니다. (1) 초기 사전 훈련 후 (2) 어닐링입니다.

초기 사전 훈련에서는 위에서 설명한 약 60억 개의 이미지-텍스트 쌍 데이터셋에서 이미지 어댑터를 사전 훈련합니다. 연산 효율성 이유로 모든 이미지를 최대 4개의 336 × 336 픽셀 타일에 맞도록 크기를 조정하며, 여기서 타일을 배열하여 672 × 672, 672 × 336, 1344 × 336과 같은 다양한 종횡비를 지원합니다.

어닐링에서는 위에서 설명한 어닐링 데이터셋의 약 5억 개 이미지에서 이미지 어댑터 훈련을 계속합니다. 어닐링 중에는 인포그래픽 이해와 같이 더 높은 해상도 이미지가 필요한 작업의 성능을 향상시키기 위해 타일당 이미지 해상도를 증가시킵니다.

비디오 어댑터에서는 모델이 최대 64개 프레임(전체 비디오에서 균등하게 샘플링)을 입력으로 받으며, 각각은 이미지 인코더에 의해 처리됩니다. 비디오의 시간적 구조를 두 가지 구성 요소를 통해 모델링합니다. (i) 인코딩된 비디오 프레임이 32개의 연속 프레임을 하나로 병합하는 시간적 집계기에 의해 집계되고, (ii) 추가적인 비디오 교차 어텐션 레이어가 네 번째 이미지 교차 어텐션 레이어마다 추가됩니다.

시간적 집계기는 perceiver resampler로 구현됩니다. 비디오당 16개 프레임(1개 프레임으로 집계)을 사용하여 사전 훈련하지만 지도 학습 미세조정 중에는 입력 프레임 수를 64개로 증가시킵니다. 비디오 집계기와 교차 어텐션 레이어는 Llama 3 7B와 70B에 대해 각각 6억 개와 46억 개의 파라미터를 가집니다.

모델 스케일링

시각 인식 구성 요소가 Llama 3에 추가된 후 모델은 셀프 어텐션 레이어, 교차 어텐션 레이어, ViT 이미지 인코더를 포함합니다. 더 작은 8B와 70B 파라미터 모델용 어댑터를 훈련하기 위해 데이터와 텐서 병렬성의 조합이 가장 효율적이라는 것을 발견했습니다. 모델 파라미터의 수집이 연산을 지배하기 때문에 이러한 규모에서는 모델이나 파이프라인 병렬성이 효율성을 증가시키지 않습니다. 그러나 405B 파라미터 모델용 어댑터를 훈련할 때는 데이터와 텐서 병렬성 외에 파이프라인 병렬성을 사용합니다.

이 규모에서의 훈련은 앞서 설명한 것들 외에 세 가지 새로운 과제를 도입합니다. 모델 이질성, 데이터 이질성, 수치적 불안정성입니다.

모델 이질성에서는 일부 토큰에서 다른 토큰보다 더 많은 연산이 수행되기 때문에 모델 연산이 이질적입니다. 특히 이미지 토큰은 이미지 인코더와 교차 어텐션 레이어에 의해 처리되는 반면, 텍스트 토큰은 언어 백본에 의해서만 처리됩니다. 이러한 이질성은 파이프라인 병렬성의 스케줄링에서 병목을 초래합니다. 이 문제를 해결하기 위해 각 파이프라인 단계가 5개 레이어를 포함하도록 보장합니다. 즉, 언어 백본의 4개 셀프 어텐션 레이어와 교차 어텐션 레이어입니다. (네 번째 셀프 어텐션 레이어마다 교차 어텐션 레이어를 도입한다는 것을 상기하십시오.) 또한 모든 파이프라인 단계에서 이미지 인코더를 복제합니다. 쌍을 이룬 이미지-텍스트 데이터에서 훈련하기 때문에 이는 이미지와 텍스트 부분의 연산 간 로드 밸런싱을 가능하게 합니다.

데이터 이질성에서는 평균적으로 이미지가 관련 텍스트보다 더 많은 토큰을 가지기 때문에 데이터가 이질적입니다. 이미지는 2,308개 토큰을 가지는 반면 관련 텍스트는 평균 192개 토큰만 포함합니다. 결과적으로 교차 어텐션 레이어의 연산은 셀프 어텐션 레이어의 연산보다 더 많은 시간과 메모리를 필요로 합니다. 이 문제를 해결하기 위해 이미지 인코더에서 시퀀스 병렬성을 도입하여 각 GPU가 대략 동일한 수의 토큰을 처리하도록 합니다. 평균 텍스트 크기가 상대적으로 작기 때문에 상당히 더 큰 마이크로 배치 크기(1 대신 8)도 사용합니다.

수치적 불안정성에서는 이미지 인코더가 모델에 추가된 후 bf16에서 그래디언트 누적을 수행하는 것이 수치적 불안정성을 초래한다는 것을 발견했습니다. 이에 대한 가장 가능성 있는 설명은 이미지 토큰이 모든 교차 어텐션 레이어를 통해 언어 백본에 도입되기 때문입니다. 이는 이미지 토큰 표현의 수치적 편차가 오류가 복합되기 때문에 전체 연산에 과도한 영향을 미친다는 것을 의미합니다. 이를 해결하기 위해 FP32에서 그래디언트 누적을 수행합니다.

사전 훈련

Llama 3 405B의 사전 훈련 과정에서는 이미지 인코더와 언어 모델을 연결하는 교차 어텐션 레이어의 훈련이 핵심적인 역할을 합니다. 이 과정은 두 가지 주요 단계로 구성됩니다. 초기 사전 훈련과 어닐링입니다.

초기 사전 훈련

초기 사전 훈련에서는 사전 훈련된 텍스트 모델과 비전 인코더 가중치로부터 초기화를 수행합니다. 비전 인코더는 고정되지 않은 상태로 유지되는 반면, 텍스트 모델 가중치는 앞서 설명한 바와 같이 고정됩니다.

먼저 각 이미지가 336 × 336 픽셀의 4개 타일 내에 맞도록 크기가 조정된 60억 개의 이미지-텍스트 쌍을 사용하여 모델을 훈련합니다. 전역 배치 크기는 16,384를 사용하며, 초기 학습률 10 × 10⁻⁴와 가중치 감쇠 0.01을 가진 코사인 학습률 스케줄을 적용합니다. 초기 학습률은 소규모 실험을 기반으로 결정되었습니다. 그러나 이러한 발견사항이 매우 긴 훈련 스케줄에 잘 일반화되지 않아 손실 값이 정체될 때 훈련 중 몇 차례 학습률을 낮췄습니다.

기본 사전 훈련 후에는 이미지 해상도를 더욱 증가시키고 어닐링 데이터셋에서 동일한 가중치로 훈련을 계속합니다. 옵티마이저는 학습률 2 × 10⁻⁵로 워밍업을 통해 재초기화되며 다시 코사인 스케줄을 따릅니다.

비디오 사전 훈련

비디오 사전 훈련의 경우 위에서 설명한 이미지 사전 훈련 및 어닐링된 가중치로부터 시작합니다. 아키텍처에서 설명한 바와 같이 비디오 집계기와 교차 어텐션 레이어를 추가하고 무작위로 초기화합니다. 비디오별 파라미터(집계기와 비디오 교차 어텐션)를 제외한 모델의 모든 파라미터를 고정하고 비디오 사전 훈련 데이터에서 이들을 훈련합니다.

이미지 어닐링 단계와 동일한 훈련 하이퍼파라미터를 사용하되 학습률에서 약간의 차이가 있습니다. 전체 비디오에서 16개 프레임을 균등하게 샘플링하고 각 프레임을 448 × 448 픽셀 크기의 4개 청크를 사용하여 표현합니다. 비디오 집계기에서 16의 집계 인수를 사용하여 하나의 효과적인 프레임을 얻으며, 텍스트 토큰이 이에 교차 어텐션을 수행합니다. 훈련 중에는 전역 배치 크기 4,096, 시퀀스 길이 190 토큰, 학습률 10⁻⁴를 사용합니다.

사후 훈련

비전 어댑터의 사후 훈련 레시피에 대해 설명합니다. 사전 훈련 후에는 채팅 기능을 활성화하기 위해 고도로 큐레이션된 멀티모달 대화 데이터에서 모델을 미세조정합니다. 또한 인간 평가 성능을 향상시키기 위해 직접 선호도 최적화(DPO)를 구현하고 멀티모달 추론 능력을 개선하기 위해 거부 샘플링을 수행합니다. 마지막으로 매우 작은 고품질 대화 데이터 세트에서 모델을 계속 미세조정하는 품질 튜닝 단계를 추가하여 벤치마크 전반의 성능을 유지하면서 인간 평가를 더욱 향상시킵니다.

지도 학습 미세조정 데이터

이미지와 비디오 기능에 대한 지도 학습 미세조정(SFT) 데이터를 별도로 설명합니다.

이미지 데이터의 경우 지도 학습 미세조정을 위해 다양한 데이터셋의 혼합을 활용합니다.

학술 데이터셋에서는 기존 학술 데이터셋의 고도로 필터링된 컬렉션을 템플릿을 사용하거나 LLM 재작성을 통해 질문-답변 쌍으로 변환합니다. LLM 재작성의 목적은 다양한 지시사항으로 데이터를 보강하고 답변의 언어 품질을 향상시키는 것입니다.

인간 주석에서는 광범위한 작업(개방형 질문-답변, 캡셔닝, 실용적 사용 사례 등)과 도메인(예: 자연 이미지 및 구조화된 이미지)에 대해 인간 주석자를 통해 멀티모달 대화 데이터를 수집합니다. 주석자들에게 이미지를 제공하고 대화를 작성하도록 요청합니다. 다양성을 보장하기 위해 대규모 데이터셋을 클러스터링하고 다양한 클러스터에 걸쳐 이미지를 균등하게 샘플링합니다. 또한 k-최근접 이웃을 통해 시드를 확장하여 몇 가지 특정 도메인에 대한 추가 이미지를 획득합니다.

주석자들에게는 기존 모델의 중간 체크포인트도 제공되어 모델-인-더-루프 스타일 주석을 촉진하므로 모델 생성을 주석자들이 추가 인간 편집을 제공하는 시작점으로 활용할 수 있습니다. 이는 반복적인 과정으로, 모델 체크포인트가 최신 데이터에서 훈련된 더 나은 성능 버전으로 정기적으로 업데이트됩니다. 이는 인간 주석의 볼륨과 효율성을 증가시키는 동시에 품질도 향상시킵니다.

합성 데이터에서는 이미지의 텍스트 표현과 텍스트 입력 LLM을 사용하여 합성 멀티모달 데이터를 생성하는 다양한 방법을 탐색합니다. 고수준 아이디어는 텍스트 입력 LLM의 추론 능력을 활용하여 텍스트 도메인에서 질문-답변 쌍을 생성하고, 텍스트 표현을 해당 이미지로 대체하여 합성 멀티모달 데이터를 생성하는 것입니다. 예시로는 질문-답변 데이터셋의 텍스트를 이미지로 렌더링하거나 표 데이터를 표와 차트의 합성 이미지로 렌더링하는 것이 포함됩니다. 또한 기존 이미지의 캡션과 OCR 추출을 사용하여 이미지와 관련된 추가 대화 또는 질문-답변 데이터를 생성합니다.

비디오 데이터의 경우 이미지 어댑터와 유사하게 기존 주석이 있는 학술 데이터셋을 사용하고 이를 적절한 텍스트 지시사항과 대상 응답으로 변환합니다. 대상은 더 적절한 것에 따라 개방형 응답 또는 다중 선택 옵션으로 변환됩니다. 인간에게 질문과 해당 답변으로 비디오에 주석을 달도록 요청합니다. 주석자들은 단일 프레임을 기반으로 답변할 수 없는 질문에 집중하도록 요청받아 시간적 이해가 필요한 질문으로 주석자들을 유도합니다.

지도 학습 미세조정 레시피

이미지와 비디오 기능에 대한 지도 학습 미세조정(SFT) 레시피를 별도로 설명합니다.

이미지의 경우 사전 훈련된 이미지 어댑터로부터 초기화하지만 사전 훈련된 언어 모델의 가중치를 지시 튜닝된 언어 모델의 가중치로 핫 스왑합니다. 텍스트 전용 성능을 유지하기 위해 언어 모델 가중치는 고정된 상태로 유지되며, 즉 비전 인코더와 이미지 어댑터 가중치만 업데이트합니다.

모델을 미세조정하는 접근법은 Wortsman et al.과 유사합니다. 먼저 데이터의 여러 무작위 하위 집합, 학습률 및 가중치 감쇠 값을 사용하여 하이퍼파라미터 스윕을 실행합니다. 다음으로 성능을 기반으로 모델의 순위를 매깁니다. 마지막으로 상위 K개 모델의 가중치를 평균화하여 최종 모델을 얻습니다. K의 값은 평균화된 모델을 평가하고 가장 높은 성능을 가진 인스턴스를 선택하여 결정됩니다. 평균화된 모델이 그리드 검색을 통해 찾은 최고의 개별 모델과 비교하여 일관되게 더 나은 결과를 산출한다는 것을 관찰했습니다. 또한 이 전략은 하이퍼파라미터에 대한 민감도를 줄입니다.

비디오의 경우 비디오 SFT를 위해 사전 훈련된 가중치를 사용하여 비디오 집계기와 교차 어텐션 레이어를 초기화합니다. 모델의 나머지 파라미터인 이미지 가중치와 LLM은 미세조정 단계를 따른 해당 모델로부터 초기화됩니다. 비디오 사전 훈련과 유사하게 비디오 SFT 데이터에서 비디오 파라미터만 미세조정합니다. 이 단계에서는 비디오 길이를 64프레임으로 증가시키고 32의 집계 인수를 사용하여 두 개의 효과적인 프레임을 얻습니다. 청크의 해상도도 해당 이미지 하이퍼파라미터와 일치하도록 증가됩니다.

선호도 데이터

보상 모델링과 직접 선호도 최적화를 위한 멀티모달 쌍별 선호도 데이터셋을 구축했습니다.

인간 주석에서는 인간이 주석을 단 선호도 데이터가 7점 척도 평가로 "선택됨"과 "거부됨"으로 라벨링된 두 개의 서로 다른 모델 출력 간의 비교로 구성됩니다. 응답을 생성하는 데 사용되는 모델들은 각각 다른 특성을 가진 최고의 최근 모델 풀에서 즉석에서 샘플링됩니다. 모델 풀은 매주 업데이트됩니다.

선호도 라벨 외에도 비전 작업이 부정확성에 대한 허용도가 낮기 때문에 "선택된" 응답의 부정확성을 수정하기 위한 선택적 인간 편집을 주석자들에게 요청합니다. 인간 편집은 실제로 볼륨과 품질 간의 트레이드오프가 있기 때문에 선택적 단계라는 점에 주목해야 합니다.

합성 데이터에서는 텍스트 전용 LLM을 사용하여 지도 학습 미세조정 데이터셋을 편집하고 의도적으로 오류를 도입함으로써 합성 선호도 쌍을 생성할 수도 있습니다. 대화 데이터를 입력으로 받아 LLM을 사용하여 미묘하지만 의미 있는 오류(예: 객체 변경, 속성 변경, 계산 실수 추가 등)를 도입합니다. 이러한 편집된 응답은 부정적인 "거부된" 샘플로 사용되며 "선택된" 원래 지도 학습 미세조정 데이터와 쌍을 이룹니다.

거부 샘플링에서는 더 많은 온폴리시 부정적 샘플을 생성하기 위해 거부 샘플링의 반복적 과정을 활용하여 추가 선호도 데이터를 수집했습니다. 거부 샘플링 사용에 대한 자세한 내용은 다음 섹션에서 논의합니다. 높은 수준에서 거부 샘플링은 모델에서 고품질 생성을 반복적으로 샘플링하는 데 사용됩니다. 따라서 부산물로 선택되지 않은 모든 생성을 부정적인 거부된 샘플로 사용하고 추가 선호도 데이터 쌍으로 사용할 수 있습니다.

보상 모델링

비전 SFT 모델과 언어 RM 위에 비전 보상 모델(RM)을 훈련합니다. 비전 인코더와 교차 어텐션 레이어는 비전 SFT 모델로부터 초기화되고 훈련 중에 고정되지 않는 반면, 셀프 어텐션 레이어는 언어 RM으로부터 초기화되고 고정된 상태로 유지됩니다. 언어 RM 부분을 고정하는 것이 일반적으로 더 나은 정확도로 이어진다는 것을 관찰했으며, 특히 RM이 지식이나 언어 품질을 기반으로 판단해야 하는 작업에서 그렇습니다.

언어 RM과 동일한 훈련 목표를 채택하지만 배치에 걸쳐 평균화된 보상 로짓의 제곱에 대한 가중 정규화 항을 추가하여 보상 점수가 드리프트되는 것을 방지합니다. 앞서 설명한 인간 선호도 주석을 사용하여 비전 RM을 훈련합니다. 언어 선호도 데이터와 동일한 관행을 따라 명확한 순위를 가진 두 개 또는 세 개의 쌍(편집됨 > 선택됨 > 거부됨)을 생성합니다.

또한 이미지의 정보와 관련된 단어나 구문(숫자나 시각적 텍스트 등)을 교란하여 부정적인 응답을 합성적으로 보강합니다. 이는 비전 RM이 실제 이미지 콘텐츠를 기반으로 판단을 그라운딩하도록 장려합니다.

직접 선호도 최적화

언어 모델과 유사하게 앞서 설명한 선호도 데이터를 사용하여 직접 선호도 최적화(DPO)로 비전 어댑터를 추가 훈련합니다. 사후 훈련 라운드 중 분포 이동에 대응하기 위해 최근 배치의 인간 선호도 주석만 유지하면서 충분히 오프폴리시인 배치(예: 기본 사전 훈련된 모델이 변경된 경우)는 삭제합니다.

항상 참조 모델을 고정하는 대신 k단계마다 지수 이동 평균(EMA) 방식으로 업데이트하는 것이 모델이 데이터로부터 더 많이 학습하는 데 도움이 되어 인간 평가에서 더 나은 성능을 가져온다는 것을 발견했습니다. 전반적으로 비전 DPO 모델이 모든 미세조정 반복에서 인간 평가에서 SFT 시작점보다 일관되게 더 나은 성능을 보인다는 것을 관찰했습니다.

거부 샘플링

사용 가능한 대부분의 질문-답변 쌍은 최종 답변만 포함하고 추론 작업에서 잘 일반화되는 모델을 훈련하는 데 필요한 체인 오브 소트 설명이 부족합니다. 거부 샘플링을 사용하여 이러한 예시에 대한 누락된 설명을 생성하고 모델의 추론 능력을 향상시킵니다.

질문-답변 쌍이 주어지면 다양한 시스템 프롬프트나 온도로 미세조정된 모델을 샘플링하여 여러 답변을 생성합니다. 다음으로 휴리스틱이나 LLM 판사를 통해 생성된 답변을 정답과 비교합니다. 마지막으로 올바른 답변을 미세조정 데이터 믹스에 다시 추가하여 모델을 재훈련합니다. 질문당 여러 개의 올바른 답변을 유지하는 것이 유용하다는 것을 발견했습니다.

훈련에 고품질 예시만 다시 추가하도록 보장하기 위해 다음 두 가지 가드레일을 구현했습니다. 첫째, 일부 예시가 최종 답변이 올바름에도 불구하고 잘못된 설명을 포함한다는 것을 발견했습니다. 이 패턴이 생성된 답변 중 올바른 답변의 비율이 작은 질문에서 더 자주 발생한다는 것을 관찰했습니다. 따라서 답변이 올바를 확률이 특정 임계값 이하인 질문에 대한 답변은 삭제합니다. 둘째, 평가자들이 언어나 스타일의 차이로 인해 일부 답변을 다른 답변보다 선호합니다. 보상 모델을 사용하여 상위 K개의 가장 높은 품질 답변을 선택하고 이를 훈련에 다시 추가합니다.

품질 튜닝

모든 샘플이 인간이나 최고의 모델에 의해 재작성되고 검증되어 최고 기준을 충족하는 작지만 매우 선별적인 SFT 데이터셋을 큐레이션합니다. 이 데이터로 DPO 모델을 훈련하여 응답 품질을 향상시키며, 이 과정을 품질 튜닝(QT)이라고 부릅니다. QT 데이터셋이 광범위한 작업을 다루고 적절한 조기 중단이 적용될 때 QT가 벤치마크로 검증된 일반화에 영향을 주지 않으면서 인간 평가를 크게 향상시킨다는 것을 발견했습니다. 이 단계에서는 능력이 유지되거나 향상되도록 보장하기 위해 순전히 벤치마크를 기반으로 체크포인트를 선택합니다.

음성 실험

Llama 3에 음성 기능을 통합하기 위한 실험에서는 시각 인식 기능 통합에서 사용한 것과 유사한 조합적 접근법을 채택했습니다. 이 접근법은 음성 신호를 처리하기 위해 인코더와 어댑터를 입력 측에 통합하는 방식으로 구현됩니다. 특히 흥미로운 점은 텍스트 형태의 시스템 프롬프트를 활용하여 Llama 3에서 다양한 음성 이해 모드를 활성화한다는 것입니다.

시스템 프롬프트가 제공되지 않을 경우, 모델은 텍스트 전용 버전의 Llama 3와 일관된 방식으로 사용자의 음성에 효과적으로 응답할 수 있는 범용 음성 대화 모델로 작동합니다. 다중 턴 대화 경험을 향상시키기 위해 대화 기록이 프롬프트 접두사로 도입되며, 자동 음성 인식(ASR)과 자동 음성 번역(AST)을 위한 Llama 3 사용을 가능하게 하는 시스템 프롬프트도 실험했습니다.

Llama 3의 음성 인터페이스는 최대 34개 언어를 지원하며, 텍스트와 음성의 교차 입력을 허용하여 모델이 고급 오디오 이해 작업을 해결할 수 있게 합니다. 또한 언어 모델 디코딩 중에 실시간으로 음성 파형을 생성하는 스트리밍 텍스트-음성 변환(TTS) 시스템을 구현하는 음성 생성 접근법도 실험했습니다.

음성 데이터 구성

음성 이해를 위한 훈련 데이터는 두 가지 주요 유형으로 분류됩니다. 사전 훈련 데이터는 자기 지도 방식으로 음성 인코더를 초기화하는 데 사용되는 대량의 라벨이 없는 음성을 포함합니다. 지도 미세조정 데이터는 음성 인식, 음성 번역, 음성 대화 데이터를 포함하며, 이 데이터는 대규모 언어 모델과 통합될 때 특정 능력을 활성화하는 데 사용됩니다.

사전 훈련 데이터의 경우, 음성 인코더를 사전 훈련하기 위해 다수의 언어를 포괄하는 약 1,500만 시간의 음성 녹음으로 구성된 데이터셋을 큐레이션했습니다. 음성 활동 감지(VAD) 모델을 사용하여 오디오 데이터를 필터링하고, 사전 훈련을 위해 VAD 임계값이 0.7 이상인 오디오 샘플을 선택했습니다. 음성 사전 훈련 데이터에서는 개인 식별 정보(PII)의 부재를 보장하는 데도 중점을 두었으며, Presidio Analyzer를 사용하여 이러한 PII를 식별했습니다.

음성 인식 및 번역 데이터에서는 ASR 훈련 데이터가 34개 언어에 걸쳐 23만 시간의 수동 전사된 음성 녹음을 포함합니다. AST 훈련 데이터는 33개 언어에서 영어로, 영어에서 33개 언어로의 두 방향으로 9만 시간의 번역을 포함합니다. 이 데이터는 NLLB 툴킷을 사용하여 생성된 지도 데이터와 합성 데이터를 모두 포함하며, 합성 AST 데이터의 사용은 저자원 언어에 대한 모델 품질을 향상시킬 수 있게 해줍니다.

음성 대화 데이터의 경우, 음성 대화를 위한 음성 어댑터를 미세조정하기 위해 언어 모델에 해당 프롬프트의 전사본에 응답하도록 요청하여 음성 프롬프트에 대한 응답을 합성적으로 생성했습니다. ASR 데이터셋의 하위 집합을 사용하여 6만 시간의 음성으로 이러한 방식으로 합성 데이터를 생성했습니다. 또한 Llama 3를 미세조정하는 데 사용된 데이터의 하위 집합에서 Voicebox TTS 시스템을 실행하여 2만 5천 시간의 합성 데이터를 생성했습니다.

음성 생성을 위한 데이터셋은 주로 텍스트 정규화(TN) 모델과 운율 모델(PM) 훈련을 위한 것들로 구성됩니다. 두 훈련 데이터 모두 맥락 정보를 제공하기 위해 Llama 3 임베딩의 추가 입력 특성으로 보강됩니다.

텍스트 정규화 데이터는 비자명한 정규화가 필요한 다양한 기호 클래스(예: 숫자, 날짜, 시간)를 다루는 5만 5천 개의 샘플을 포함합니다. 각 샘플은 서면 형태 텍스트와 해당하는 정규화된 구어 형태 텍스트의 쌍으로, 정규화를 수행하는 수작업으로 제작된 TN 규칙의 추론된 시퀀스를 포함합니다.

운율 모델 데이터는 스튜디오 환경에서 전문 성우가 녹음한 전사본과 오디오가 쌍을 이룬 5만 시간의 TTS 데이터셋에서 추출된 언어적 및 운율적 특성을 포함합니다. Llama 3 임베딩은 16번째 디코더 레이어의 출력으로 추출되며, Llama 3 8B 모델을 독점적으로 사용하여 빈 사용자 프롬프트로 Llama 3 모델에 의해 생성된 것처럼 주어진 텍스트에 대한 임베딩을 추출합니다.

모델 아키텍처

음성 이해를 위한 모델 아키텍처는 두 개의 연속적인 모듈로 구성됩니다. 음성 인코더와 어댑터입니다. 음성 모듈의 출력은 토큰 표현으로서 언어 모델에 직접 공급되어 음성과 텍스트 토큰 간의 직접적인 상호작용을 가능하게 합니다. 또한 음성 표현 시퀀스를 둘러싸는 두 개의 새로운 특수 토큰을 통합했습니다.

이 음성 모듈은 교차 어텐션 레이어를 통해 언어 모델에 다중 모달 정보를 공급하는 비전 모듈과는 상당히 다릅니다. 대조적으로 음성 모듈은 텍스트 토큰과 원활하게 통합될 수 있는 임베딩을 생성하여 음성 인터페이스가 Llama 3 언어 모델의 모든 기능을 활용할 수 있게 합니다.

음성 인코더는 10억 개의 파라미터를 가진 Conformer 모델입니다. 모델의 입력은 80차원 멜-스펙트로그램 특성으로 구성되며, 이는 먼저 프레임 길이를 40ms로 줄이기 위해 stride-4 스태킹 레이어와 선형 투영에 의해 처리됩니다. 결과적인 특성은 24개의 Conformer 레이어를 가진 인코더에 의해 처리됩니다. 각 Conformer 레이어는 1536의 잠재 차원을 가지며, 차원 4096의 두 개의 Macron-net 스타일 피드포워드 네트워크, 커널 크기 7의 컨볼루션 모듈, 그리고 24개의 어텐션 헤드를 가진 회전 어텐션 모듈로 구성됩니다.

음성 어댑터는 약 1억 개의 파라미터를 포함합니다. 이는 컨볼루션 레이어, 회전 트랜스포머 레이어, 그리고 선형 레이어로 구성됩니다. 컨볼루션 레이어는 커널 크기 3과 stride 2를 가지며, 음성 프레임 길이를 80ms로 줄이도록 설계되었습니다. 이를 통해 모델이 언어 모델에 더 거친 단위의 특성을 제공할 수 있습니다. 트랜스포머 레이어는 3072의 잠재 차원과 4096 차원의 피드포워드 네트워크를 가지며, 컨볼루션 다운샘플링 후 맥락과 함께 음성으로부터의 정보를 추가로 처리합니다.

음성 생성을 위해서는 Llama 3 8B 임베딩을 두 가지 핵심 구성 요소에서 사용합니다. 텍스트 정규화와 운율 모델링입니다. TN 모듈은 서면 텍스트를 맥락적으로 구어 형태로 변환하여 의미적 정확성을 보장합니다. PM 모듈은 이러한 임베딩을 사용하여 운율적 특성을 예측함으로써 자연스러움과 표현력을 향상시킵니다.

텍스트 정규화는 생성된 음성의 의미적 정확성을 결정하는 요소로서, 서면 형태 텍스트를 하위 구성 요소에 의해 최종적으로 발성되는 해당 구어 형태로 맥락 인식 변환을 수행합니다. 예를 들어, 서면 형태 텍스트 "123"은 의미적 맥락에 따라 기수(one hundred twenty three) 또는 자릿수별 철자(one two three)로 읽힙니다. TN 시스템은 입력 텍스트를 변환하는 데 사용되는 수작업으로 제작된 TN 규칙의 시퀀스를 예측하는 스트리밍 LSTM 기반 시퀀스 태깅 모델로 구성됩니다.

신경 모델은 또한 교차 어텐션을 통해 Llama 3 임베딩을 받아들여 그 안에 인코딩된 맥락 정보를 활용하며, 최소한의 텍스트 토큰 미리보기와 스트리밍 입력/출력을 가능하게 합니다.

운율 모델링에서는 합성된 음성의 자연스러움과 표현력을 향상시키기 위해 Llama 3 임베딩을 추가 입력으로 받는 디코더 전용 트랜스포머 기반 운율 모델(PM)을 통합했습니다. 이 통합은 Llama 3의 언어적 능력을 활용하여 텍스트 출력과 토큰 비율의 중간 임베딩을 모두 사용하여 운율 특성의 예측을 향상시키므로 모델에 필요한 미리보기를 줄입니다.

PM은 포괄적인 운율 예측을 생성하기 위해 여러 입력 구성 요소를 통합합니다. 위에서 자세히 설명한 텍스트 정규화 프론트엔드에서 파생된 언어적 특성, 토큰, 그리고 임베딩입니다. PM은 세 가지 핵심 운율적 특성을 예측합니다. 각 음소의 로그 지속 시간, 로그 F0(기본 주파수) 평균, 그리고 음소 지속 시간에 걸친 로그 파워 평균입니다. 모델은 단방향 트랜스포머와 6개의 어텐션 헤드로 구성됩니다. 각 블록은 교차 어텐션 레이어와 숨겨진 차원 864를 가진 이중 완전 연결 레이어를 포함합니다.

PM의 독특한 특징은 이중 교차 어텐션 메커니즘으로, 하나의 레이어는 언어적 입력에 전용되고 다른 하나는 Llama 임베딩에 전용됩니다. 이 설정은 명시적인 정렬을 요구하지 않고 다양한 입력 비율을 효율적으로 관리합니다.

훈련 방법론

음성 모듈의 훈련은 두 단계로 수행됩니다. 첫 번째 단계인 음성 사전 훈련에서는 라벨이 없는 데이터를 활용하여 언어와 음향 조건에 걸쳐 강력한 일반화 능력을 보이는 음성 인코더를 훈련합니다. 두 번째 단계인 지도 미세조정에서는 어댑터와 사전 훈련된 인코더가 언어 모델과 통합되어 LLM이 고정된 상태에서 함께 훈련됩니다. 이를 통해 모델이 음성 입력에 응답할 수 있게 됩니다.

다국어 ASR과 AST 모델링은 종종 언어 혼동/간섭을 초래하여 성능 저하로 이어집니다. 이를 완화하는 인기 있는 방법은 소스와 타겟 측 모두에서 언어 식별(LID) 정보를 통합하는 것입니다. 이는 미리 결정된 방향 세트에서 성능 향상으로 이어질 수 있지만 일반성의 잠재적 손실을 수반합니다.

이 문제를 해결하기 위해 방출될 텍스트(타겟 측)에 대한 LID만 포함하는 시스템 프롬프트를 설계했습니다. 이러한 프롬프트에는 음성 입력(소스 측)에 대한 LID 정보가 없으며, 이는 잠재적으로 코드 스위칭된 음성과도 작동할 수 있게 해줍니다.

ASR의 경우 다음 시스템 프롬프트를 사용합니다. "Repeat after me in {language}:", 여기서 {language}는 34개 언어(영어, 프랑스어 등) 중 하나입니다. 음성 번역의 경우 시스템 프롬프트는 "Translate the following sentence into {language}:"입니다. 이 설계는 언어 모델이 원하는 언어로 응답하도록 프롬프트하는 데 효과적인 것으로 나타났습니다.

음성 사전 훈련에서는 자기 지도 BEST-RQ 알고리즘을 사용하여 음성 인코더를 사전 훈련합니다. 입력 멜-스펙트로그램에 2.5% 확률로 32프레임 길이의 마스크를 적용합니다. 음성 발화가 60초보다 길면 60초의 음성에 해당하는 6K 프레임의 무작위 자르기를 수행합니다. 4개의 연속 프레임을 스태킹하고 320차원 벡터를 16차원 공간으로 투영하며, 8,192개 벡터의 코드북 내에서 코사인 유사도 메트릭에 대한 최근접 이웃 검색을 수행하여 멜-스펙트로그램 특성을 양자화합니다.

사전 훈련을 안정화하기 위해 16개의 서로 다른 코드북을 사용합니다. 투영 행렬과 코드북은 무작위로 초기화되며 모델 훈련 전반에 걸쳐 업데이트되지 않습니다. 다중 소프트맥스 손실은 효율성 이유로 마스킹된 프레임에서만 사용됩니다. 인코더는 2,048개 발화의 글로벌 배치 크기로 50만 단계 동안 훈련됩니다.

지도 미세조정에서는 사전 훈련된 음성 인코더와 무작위로 초기화된 어댑터 모두가 지도 미세조정 단계에서 Llama 3와 함께 공동으로 최적화됩니다. 이 과정에서 언어 모델은 변경되지 않은 상태로 유지됩니다. 훈련 데이터는 ASR, AST, 그리고 음성 대화 데이터의 혼합입니다.

Llama 3 8B용 음성 모델은 512개 발화의 글로벌 배치 크기와 $10^{-4}$의 초기 학습률을 사용하여 65만 업데이트 동안 훈련됩니다. Llama 3 70B용 음성 모델은 768개 발화의 글로벌 배치 크기와 $4 \times 10^{-5}$의 초기 학습률을 사용하여 60만 업데이트 동안 훈련됩니다.

음성 생성을 위해서는 실시간 처리를 지원하기 위해 운율 모델이 고정된 수의 미래 음소와 가변적인 수의 미래 토큰을 고려하는 미리보기 메커니즘을 사용합니다. 이는 들어오는 텍스트를 처리하는 동안 일관된 미리보기를 보장하며, 이는 저지연 음성 합성 애플리케이션에 중요합니다.

음성 이해 성능 결과

음성 이해 능력을 세 가지 작업에서 평가했습니다. (1) 자동 음성 인식, (2) 음성 번역, (3) 음성 질문 답변입니다. Llama 3의 음성 인터페이스를 음성 이해를 위한 세 가지 최첨단 모델인 Whisper, SeamlessM4T, 그리고 Gemini와 비교했습니다.

음성 인식 성능에서는 Multilingual LibriSpeech(MLS), LibriSpeech, VoxPopuli, 그리고 다국어 FLEURS 데이터셋의 하위 집합의 영어 데이터셋에서 ASR 성능을 평가했습니다. 평가에서 디코딩 결과는 다른 모델의 보고된 결과와 비교할 때 일관성을 보장하기 위해 Whisper 텍스트 정규화기를 사용하여 후처리되었습니다.

모든 벤치마크에서 Llama 3의 음성 인터페이스가 Whisper와 SeamlessM4T와 같은 음성에 특화된 모델들을 능가하는 강력한 성능을 보여줍니다. MLS 영어에서 Llama 3는 Gemini와 유사한 성능을 보입니다.

음성 번역 성능에서는 모델이 비영어 음성을 영어 텍스트로 번역하도록 요청받는 음성 번역 작업에서도 모델을 평가했습니다. 이러한 평가에서 FLEURS와 Covost 2 데이터셋을 사용하여 번역된 영어의 BLEU 점수를 측정했습니다.

음성 번역에서 모델의 성능은 음성 번역과 같은 작업에 대한 다중 모달 파운데이션 모델의 장점을 강조합니다.

음성 질문 답변에서 Llama 3의 음성 인터페이스는 놀라운 질문 답변 능력을 보여줍니다. 모델은 그러한 데이터에 대한 사전 노출 없이도 코드 스위칭된 음성을 쉽게 이해할 수 있습니다. 주목할 점은 모델이 단일 턴 대화에서만 훈련되었음에도 불구하고 확장된 일관성 있는 다중 턴 대화 세션에 참여할 수 있다는 것입니다.

안전성 평가에서는 영어와 스페인어에 대해 2만 개의 발화, 다른 19개 언어에 대해 4천 개씩의 독성 라벨이 첨부된 다국어 오디오 기반 데이터셋인 MuTox에서 음성 모델의 안전성을 평가했습니다. 오디오가 모델에 입력으로 전달되고 일부 특수 문자를 정리한 후 출력이 독성에 대해 평가됩니다.

추가된 독성의 비율이 매우 낮으며, 음성 모델들은 영어에서 1% 미만으로 가장 낮은 추가된 독성 비율을 가집니다. 모델은 추가하는 것보다 훨씬 더 많은 독성을 제거합니다.

음성 생성 성능 결과

음성 생성의 경우 텍스트 정규화와 운율 모델링 작업을 위한 Llama 3 임베딩을 가진 토큰별 입력 스트리밍 모델의 품질 평가에 중점을 둡니다.

텍스트 정규화에서 Llama 3 임베딩의 효과를 측정하기 위해 모델이 사용하는 우측 맥락의 양을 변경하는 실험을 수행했습니다. 3개의 TN 토큰(유니코드 카테고리로 구분)의 우측 맥락을 사용하여 모델을 훈련했습니다. 이 모델을 Llama 3 임베딩을 사용하지 않는 모델과 비교했으며, 3토큰 우측 맥락 또는 완전한 양방향 맥락을 사용했습니다.

예상대로 전체 우측 맥락을 사용하는 것이 Llama 3 임베딩 없는 모델의 성능을 향상시킵니다. 그러나 Llama 3 임베딩을 통합한 모델이 다른 모든 모델을 능가하므로 입력에서 긴 맥락에 의존하지 않고 토큰 비율 입력/출력 스트리밍을 가능하게 합니다.

운율 모델링에서는 Llama 3 8B를 가진 운율 모델의 성능을 평가하기 위해 Llama 3 임베딩이 있는 모델과 없는 모델을 비교하는 두 세트의 인간 평가를 수행했습니다. 평가자들은 다른 모델의 샘플을 듣고 선호도를 표시했습니다.

Llama 3 8B PM은 스트리밍 기준선과 비교하여 60%의 시간 동안, 비스트리밍 기준선과 비교하여 63.6%의 시간 동안 선호되어 인지된 품질의 상당한 향상을 나타냅니다. Llama 3 8B PM의 핵심 장점은 추론 중 낮은 지연 시간을 유지하는 토큰별 스트리밍 능력입니다. 이는 모델의 미리보기 요구사항을 줄여 비스트리밍 기준선과 비교하여 더 반응적이고 실시간적인 음성 합성을 가능하게 합니다.

전반적으로 Llama 3 8B 운율 모델은 기준선 모델들을 일관되게 능가하여 합성된 음성의 자연스러움과 표현력을 향상시키는 데 있어서의 효과를 입증합니다.

관련 연구

Llama 3의 개발은 언어, 이미지, 비디오, 음성을 위한 파운데이션 모델을 연구하는 광범위한 선행 연구를 기반으로 합니다. 이러한 연구의 포괄적인 개요는 본 논문의 범위를 벗어나므로, 독자들은 Bordes et al. (2024), Madan et al. (2024), Zhao et al. (2023a)의 개요를 참조할 수 있습니다. 아래에서는 Llama 3 개발에 직접적으로 영향을 미친 핵심적인 연구들을 간략히 설명합니다.

언어 모델 연구

규모의 확장

Llama 3는 파운데이션 모델에서 점점 더 큰 규모로 직관적인 방법을 적용하는 지속적인 추세를 따릅니다. 개선은 증가된 컴퓨팅 자원과 향상된 데이터에 의해 주도되며, 405B 모델은 Llama 2 70B의 사전 훈련 컴퓨팅 예산의 거의 50배를 사용합니다. 405B 파라미터를 포함함에도 불구하고, 가장 큰 Llama 3는 실제로 PALM (Chowdhery et al., 2023)과 같은 이전의 훨씬 성능이 낮은 모델들보다 적은 파라미터를 포함합니다. 이는 스케일링 법칙에 대한 더 나은 이해 덕분입니다.

Hoffmann et al. (2022)의 연구는 이러한 스케일링 법칙 이해에 핵심적인 기여를 했습니다. 이들은 주어진 컴퓨팅 예산에 대해 모델 크기와 훈련 토큰 수 사이의 최적 균형을 조사했으며, 모델 크기와 훈련 토큰이 동등하게 확장되어야 한다는 것을 발견했습니다. 이는 모델 크기가 훈련 데이터보다 빠르게 확장되어야 한다고 제안한 이전 연구와 대조됩니다. 이러한 통찰은 Llama 3의 405B 파라미터 모델이 더 많은 훈련 토큰(15.6조 토큰)과 함께 설계된 이유를 설명합니다.

Claude 3나 GPT-4 (OpenAI, 2023a)와 같은 다른 최첨단 모델의 크기에 대해서는 공개적으로 알려진 바가 거의 없지만, 전반적인 성능은 비교 가능합니다. 이는 단순히 모델 크기를 늘리는 것보다 컴퓨팅 자원의 효율적 활용이 더 중요함을 시사합니다.

소형 모델의 발전

소형 모델의 발전은 대형 모델과 병행하여 진행되었습니다. 더 적은 파라미터를 가진 모델들은 추론 비용을 극적으로 개선하고 배포를 단순화할 수 있습니다 (Mehta et al., 2024; Team et al., 2024). 더 작은 Llama 3 모델들은 컴퓨팅 최적 훈련 지점을 훨씬 넘어서 훈련함으로써 이를 달성하며, 효과적으로 훈련 컴퓨팅을 추론 효율성과 교환합니다.

대안적인 접근법은 Phi (Abdin et al., 2024)에서와 같이 더 큰 모델을 더 작은 모델로 증류하는 것입니다. 이러한 접근법들은 서로 다른 장단점을 가지며, 배포 환경과 성능 요구사항에 따라 선택될 수 있습니다.

아키텍처 혁신

Llama 3가 Llama 2와 비교하여 최소한의 아키텍처 수정을 가하는 반면, 다른 최근 파운데이션 모델들은 다른 설계를 탐색했습니다. 가장 주목할 만한 것은 전문가 혼합(mixture of experts) 아키텍처입니다 (Shazeer et al., 2017; Lewis et al., 2021; Fedus et al., 2022; Zhou et al., 2022). 이는 Mixtral (Jiang et al., 2024)과 Arctic (Snowflake, 2024)에서와 같이 모델의 용량을 증가시키는 효율적인 방법으로 사용될 수 있습니다.

Vaswani et al. (2017)이 제안한 Transformer 아키텍처는 이러한 모든 발전의 기초가 됩니다. Transformer는 순환 신경망과 합성곱 신경망을 완전히 배제하고 어텐션 메커니즘에만 의존하는 새로운 신경망 아키텍처를 제안했습니다. 핵심 구성 요소인 "Scaled Dot-Product Attention"은 다음과 같이 정의됩니다.

이 어텐션 메커니즘을 개선하기 위해 "Multi-Head Attention"을 사용하며, 이는 서로 다른 학습된 선형 투영을 가진 쿼리, 키, 값에 대해 어텐션 함수를 병렬로 적용합니다.

Llama 3가 이러한 모델들을 능가한다는 것은 조밀한 아키텍처가 제한 요소가 아님을 시사하지만, 훈련 및 추론 효율성, 그리고 대규모에서의 모델 안정성 측면에서 여전히 수많은 트레이드오프가 남아 있습니다.

오픈 소스 모델의 진전

오픈 가중치 파운데이션 모델들은 지난 해 동안 빠르게 개선되었으며, Llama 3-405B는 현재 폐쇄 가중치 최첨단 모델들과 경쟁할 수 있게 되었습니다. 최근 개발된 수많은 모델 패밀리들이 있으며, 여기에는 Mistral (Jiang et al., 2023), Falcon (Almazrouei et al., 2023), MPT (Databricks, 2024), Pythia (Biderman et al., 2023), Arctic (Snowflake, 2024), OpenELM (Mehta et al., 2024), OLMo (Groeneveld et al., 2024), StableLM (Bellagente et al., 2024), OpenLLaMA (Geng and Liu, 2023), Qwen (Bai et al., 2023), Gemma (Team et al., 2024), Grok (XAI, 2024), 그리고 Phi (Abdin et al., 2024)가 포함됩니다.

이러한 오픈 소스 모델들의 급속한 발전은 연구 커뮤니티의 협력적 노력과 투명성의 중요성을 보여줍니다. 각 모델은 고유한 기술적 혁신과 최적화 전략을 제공하며, 전체 분야의 발전에 기여하고 있습니다.

사후 훈련 기법

Llama 3의 사후 훈련은 지시사항 튜닝 (Chung et al., 2022; Ouyang et al., 2022)에 이어 인간 피드백과의 정렬 (Kaufmann et al., 2023)이라는 확립된 전략을 따릅니다. 일부 연구들이 경량 정렬 절차의 놀라운 효과를 보여주었지만 (Zhou et al., 2024), Llama 3는 사전 훈련된 모델을 개선하기 위해 수백만 개의 인간 지시사항과 선호도 판단을 사용합니다.

이러한 기법들에는 거부 샘플링 (Bai et al., 2022), 지도 학습 미세조정 (Sanh et al., 2022), 그리고 직접 선호도 최적화 (Rafailov et al., 2023)가 포함됩니다. 이러한 지시사항과 선호도 예시를 큐레이션하기 위해, Llama 3의 이전 버전들을 배포하여 프롬프트와 응답을 필터링 (Liu et al., 2024c), 재작성 (Pan et al., 2024), 또는 생성 (Liu et al., 2024b)하고, 여러 라운드의 사후 훈련을 통해 이러한 기법들을 적용합니다.

다중 모달 연구

Llama 3의 다중 모달 능력 실험은 여러 모달리티를 공동으로 모델링하는 파운데이션 모델에 대한 오랜 연구 라인의 일부입니다.

이미지 처리

상당한 양의 연구가 대량의 이미지-텍스트 쌍에서 이미지 인식 모델을 훈련하는 데 집중되었습니다 (Mahajan et al., 2018; Xiao et al., 2024a; Team, 2024; OpenAI, 2023b). Radford et al. (2021)은 대조 학습을 통해 이미지와 텍스트를 공동으로 임베딩하는 최초의 모델 중 하나를 제시했습니다.

더 최근에는 Llama 3에서 사용된 것과 유사한 접근법을 연구하는 일련의 모델들이 있었습니다 (Alayrac et al., 2022; Dai et al., 2023; Liu et al., 2023c,b; Yang et al., 2023b; Ye et al., 2023; Zhu et al., 2023). Flamingo 모델은 특히 관련성이 높은데, 이는 사전 훈련된 비전 전용 모델과 언어 전용 모델을 연결하는 혁신적인 아키텍처를 제안했기 때문입니다.

Flamingo는 Perceiver Resampler 모듈을 사용하여 가변 크기의 시각적 특성을 고정된 수의 출력 토큰으로 매핑하며, 이는 언어 모델과의 효율적인 교차 어텐션을 가능하게 합니다. 또한 게이트된 교차 어텐션 조밀 레이어를 고정된 사전 훈련된 언어 모델 레이어 사이에 삽입하여 언어 모델을 시각적 입력에 조건화합니다. 이러한 접근법은 Llama 3의 조합적 접근법과 유사한 철학을 공유합니다.

Llama 3의 접근법은 이러한 많은 논문의 아이디어를 결합하여 Gemini 1.0 Ultra (Google, 2023)와 GPT-4 Vision (OpenAI, 2023b)과 비교할 만한 결과를 달성합니다.

비디오 처리

비디오 입력이 점점 더 많은 파운데이션 모델에서 지원되고 있지만 (Google, 2023; OpenAI, 2023b), 비디오와 언어의 공동 모델링에 대한 연구는 그리 크지 않습니다. Llama 3와 유사하게, 현재 대부분의 연구는 어댑터 접근법을 채택하여 비디오와 언어 표현을 정렬하고 비디오에 대한 질문 답변과 추론을 가능하게 합니다 (Lin et al., 2023; Li et al., 2023a; Maaz et al., 2024; Zhang et al., 2023; Zhao et al., 2022).

이러한 접근법들이 최첨단과 경쟁력 있는 결과를 생성한다는 것을 발견했습니다. Llama 3의 비디오 처리 접근법은 시간적 집계기와 추가적인 비디오 교차 어텐션 레이어를 도입하여 모델이 비디오에서 시간적 정보를 인식하고 처리하는 방법을 학습하게 합니다.

음성 처리

Llama 3의 연구는 언어와 음성 모델링을 결합하는 더 큰 연구 분야에도 적합합니다. 텍스트와 음성의 초기 공동 모델에는 AudioPaLM (Rubenstein et al., 2023), VioLA (Wang et al., 2023b), VoxtLM (Maiti et al., 2023), SUTLM (Chou et al., 2023), 그리고 Spirit-LM (Nguyen et al., 2024)이 포함됩니다.

Llama 3의 연구는 Fathullah et al. (2024)과 같은 음성과 언어를 결합하는 이전의 조합적 접근법을 기반으로 합니다. 대부분의 이전 연구와 달리, 음성 작업을 위해 언어 모델 자체를 미세조정하지 않기로 선택했습니다. 이는 비음성 작업에서 경합을 일으킬 수 있기 때문입니다. 더 큰 모델 규모에서는 그러한 미세조정 없이도 강력한 성능을 달성할 수 있다는 것을 발견했습니다.

이러한 관련 연구들은 Llama 3의 개발에 중요한 기반을 제공했으며, 각각의 기술적 혁신과 방법론적 통찰이 Llama 3의 포괄적인 다중 모달 능력 개발에 기여했습니다. 특히 조합적 접근법의 채택은 이러한 선행 연구들의 장점을 활용하면서도 각 모달리티의 전문성을 유지할 수 있게 해주었습니다.

결론

Llama 3의 개발 과정을 통해 얻은 경험과 통찰은 고품질 파운데이션 모델 개발이 여전히 초기 단계에 있으며, 앞으로 상당한 개선이 가능함을 시사합니다. 연구진은 Llama 3 모델 패밀리 개발 전반에 걸쳐 고품질 데이터, 규모, 그리고 단순성에 대한 강력한 집중이 지속적으로 최고의 결과를 가져다주었다고 밝혔습니다.

개발 철학과 설계 원칙

Llama 3 개발 과정에서 연구진은 더 복잡한 모델 아키텍처와 훈련 레시피를 탐색하는 예비 실험들을 수행했지만, 이러한 접근법들의 이점이 모델 개발에 도입되는 추가적인 복잡성을 상쇄하지 못한다는 것을 발견했습니다. 이는 현대 AI 시스템 개발에서 중요한 교훈을 제공합니다. 복잡성보다는 검증된 기본 원리에 충실한 접근법이 더 안정적이고 예측 가능한 결과를 가져다준다는 것입니다.

이러한 발견은 Hoffmann et al. (2022)의 스케일링 법칙 연구와 일치하는 결과입니다. 해당 연구에서는 주어진 컴퓨팅 예산에 대해 모델 크기와 훈련 토큰 수 사이의 최적 균형을 조사했으며, 모델 크기와 훈련 토큰이 동등하게 확장되어야 한다는 것을 발견했습니다. Llama 3의 405B 파라미터 모델이 15.6조 토큰으로 훈련된 것은 이러한 스케일링 법칙의 실제적 적용을 보여줍니다.

조직적 의사결정의 중요성

Llama 3와 같은 플래그십 파운데이션 모델 개발은 깊은 기술적 문제들을 극복하는 것뿐만 아니라 영리한 조직적 의사결정도 필요로 합니다. 연구진은 기술 논문에서 거의 논의되지 않는 이러한 조직적 결정들이 Llama 3 모델 패밀리의 성공적인 개발에 핵심적인 역할을 했다고 강조했습니다.

예를 들어, Llama 3가 일반적으로 사용되는 벤치마크에 실수로 과적합되지 않도록 보장하기 위해, 사전 훈련 데이터는 외부 벤치마크로 해당 사전 훈련 데이터의 오염을 방지하도록 강력하게 인센티브가 부여된 별도의 팀에 의해 조달되고 처리되었습니다. 이는 모델의 진정한 일반화 능력을 평가하는 데 필수적인 조치였습니다.

또 다른 중요한 조직적 결정으로는 인간 평가의 신뢰성을 보장하기 위해 모델 개발에 기여하지 않는 소수의 연구자들만이 이러한 평가를 수행하고 접근할 수 있도록 허용한 것입니다. 이러한 분리는 평가 과정의 객관성과 편향 없는 결과를 보장하는 데 중요한 역할을 했습니다.

지식 공유와 연구 커뮤니티 기여

연구진이 개발 과정의 세부사항을 공유한 이유는 두 가지 주요 목적을 달성하기 위함입니다. 첫째, 더 큰 연구 커뮤니티가 파운데이션 모델 개발의 핵심 요소들을 이해하는 데 도움을 주기 위함입니다. 둘째, 일반 대중에서 파운데이션 모델의 미래에 대한 더 정보에 기반한 토론에 기여하기 위함입니다.

이러한 투명성은 Touvron et al. (2023a)의 원래 LLaMA 모델에서 시작된 오픈 소스 접근법의 연장선상에 있습니다. 해당 연구에서는 공개적으로 사용 가능한 데이터셋만을 사용하여 최첨단 언어 모델을 훈련할 수 있음을 보여주었으며, 이는 연구 커뮤니티의 접근성을 크게 향상시켰습니다.

다중 모달 능력의 미래 전망

연구진은 또한 Llama 3에 다중 모달 능력을 통합하는 예비 실험들을 공유했습니다. 이러한 모델들은 여전히 활발한 개발 중이며 아직 출시 준비가 되지 않았지만, 연구진은 결과를 조기에 공유하는 것이 이 방향의 연구를 가속화할 것이라고 희망한다고 밝혔습니다.

이러한 접근법은 AI 연구에서 점점 더 중요해지고 있는 협력적 개발 모델을 반영합니다. 완성된 제품만을 공개하는 대신, 진행 중인 연구 결과를 공유함으로써 전체 연구 커뮤니티가 더 빠르게 발전할 수 있도록 돕는 것입니다.

안전성과 책임감 있는 개발

본 논문에서 제시된 상세한 안전성 분석의 긍정적인 결과에 따라, 연구진은 사회적으로 관련성이 높은 다양한 사용 사례를 위한 AI 시스템 개발을 가속화하고 연구 커뮤니티가 모델들을 면밀히 검토하여 이러한 모델들을 더 좋고 안전하게 만드는 방법을 식별할 수 있도록 하기 위해 Llama 3 언어 모델을 공개적으로 출시했습니다.

이러한 결정은 Ouyang et al. (2022)에서 제시된 인간 피드백을 통한 강화 학습(RLHF) 접근법의 연장선상에 있습니다. 해당 연구에서는 언어 모델을 인간의 지시사항을 따르도록 훈련하는 방법을 제시했으며, 이는 모델의 유용성과 안전성을 동시에 향상시키는 중요한 기법이 되었습니다.

연구진은 파운데이션 모델의 공개적 출시가 이러한 모델들의 책임감 있는 개발에서 핵심적인 역할을 한다고 믿으며, Llama 3의 출시가 업계가 인공 일반 지능(AGI)의 개방적이고 책임감 있는 개발을 수용하도록 장려하기를 희망한다고 밝혔습니다.

미래 연구 방향과 지속적 개선

Llama 3의 개발 경험은 파운데이션 모델 분야에서 여전히 상당한 개선의 여지가 있음을 보여줍니다. 연구진이 강조한 세 가지 핵심 원칙—고품질 데이터, 규모, 그리고 단순성—은 향후 모델 개발에서도 계속해서 중요한 지침이 될 것으로 예상됩니다.

특히 데이터 품질의 중요성은 Chung et al. (2022)의 지시사항 미세조정 연구에서도 확인됩니다. 해당 연구에서는 미세조정 작업의 수와 모델 크기를 확장하는 것이 성능 향상으로 이어지지만, 체인 오브 소트 데이터를 포함하는 것이 추론 능력을 유지하고 향상시키는 데 중요하다는 것을 보여주었습니다.

연구진의 투명한 개발 과정 공유는 AI 연구 커뮤니티 전체의 발전에 기여할 것으로 기대됩니다. 이러한 개방적 접근법은 다른 연구자들이 유사한 과제를 해결할 때 참고할 수 있는 실용적인 지침을 제공하며, 전체 분야의 발전 속도를 가속화할 수 있습니다.

Llama 3의 성공적인 개발과 공개는 오픈 소스 AI 모델의 가능성을 보여주는 중요한 이정표가 되었으며, 향후 더욱 강력하고 안전한 AI 시스템 개발을 위한 기반을 마련했습니다. 연구진의 경험과 통찰은 AI 연구의 미래 방향을 제시하는 귀중한 자료가 될 것입니다.

References

• The Llama 3 Herd of Models