Bits, Bytes and Neural Networks
A Data Scientist's Digital Playground
-
GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning
GEPA는 실행 트레이스를 자연어로 성찰해 지시문을 고치고 파레토 프런티어로 후보를 고르는 프롬프트 옵티마이저입니다. Qwen3 8B 여섯 과제에서 최대 35배 적은 롤아웃으로 GRPO를 평균 6% 앞서며, 구조와 실험 결과를 정리합니다.
-
Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs
MIPRO는 다단계 LM 프로그램에서 모듈별 지시문과 시연 예시를 중간 레이블 없이 함께 최적화하는 DSPy 옵티마이저이며, Llama-3-8B를 쓴 일곱 과제 중 다섯에서 기준 옵티마이저를 앞섰습니다. 제안 전략, 크레딧 할당 방식, 실험 결과를 정리합니다.
-
Executable Code Actions Elicit Better LLM Agents
CodeAct는 LLM 에이전트의 행동을 실행 가능한 Python 코드 하나로 통일하는 프레임워크입니다. 17개 LLM 평가에서 JSON·텍스트 행동보다 성공률이 최대 20% 높았고, 7k 궤적으로 오픈소스 CodeActAgent도 학습했습니다.
-
DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
DSPy는 손으로 쓴 프롬프트 템플릿 대신 시그니처와 모듈로 LM 파이프라인을 선언하고, 텔레프롬프터가 데모를 부트스트래핑해 컴파일합니다. GSM8K에서 GPT-3.5 81.6% test, HotPotQA에서 770M T5-Large 39.3% Ans 결과를 정리합니다.
-
ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models
ReWOO는 도구 응답을 기다리지 않고 계획을 한 번에 세운 뒤 도구로 증거를 모으고 마지막에 답을 합성합니다. HotpotQA에서 토큰 효율 5배, 정확도 4% 향상을 보였고 7B 플래너로 추론 능력 이전도 시도합니다.