大模型微调策略对比研究

1. 微调策略全景

1.1 策略分类

1.2 核心对比

2. LoRA 系列详解

2.1 LoRA 原理

Low-Rank Adaptation：冻结原始权重 W，新增低秩分解矩阵：

W' = W + ΔW = W + BA
其中 B ∈ R^(d×r), A ∈ R^(r×k), r << min(d,k)

关键超参数:

• rank (r): 秩，通常 8-64，越大表达力越强但参数越多
• alpha: 缩放因子，通常 = 2×rank
• target_modules: 应用 LoRA 的层（q_proj, v_proj, k_proj, o_proj）

2.2 QLoRA 创新

在 LoRA 基础上引入三项技术：

1. 4-bit NormalFloat (NF4): 量化基座模型权重
2. Double Quantization: 对量化常数再量化
3. Paged Optimizers: 利用 CPU 内存避免 OOM

显存对比 (7B 模型):

• Full FT (BF16): ~60 GB
• LoRA (BF16): ~20 GB
• QLoRA (4-bit): ~6 GB ✅ 单卡 24GB 可跑

3. 数据准备与质量控制

3.1 数据格式

指令微调格式:

{
  "instruction": "将以下英文翻译成中文",
  "input": "Hello, world!",
  "output": "你好，世界！"
}

对话格式 (Chat Template):

{
  "messages": [
    {"role": "system", "content": "你是一个翻译助手"},
    {"role": "user", "content": "Hello, world!"},
    {"role": "assistant", "content": "你好，世界！"}
  ]
}

3.2 数据质量控制

3.3 数据量参考

4. 超参数调优指南

4.1 核心超参数

4.2 训练策略

5. 领域适应最佳实践

5.1 分阶段微调

阶段 1 - 继续预训练:

• 大量领域文本（如医学文献）
• 用 MLM 或 CLM 目标
• 学习率: 1e-5

阶段 2 - 指令微调:

• 高质量指令数据
• 监督学习目标
• 学习率: 2e-4 (LoRA)

阶段 3 - 偏好对齐:

• 偏好对比数据
• DPO 或 RLHF
• 学习率: 5e-5

5.2 常见陷阱

• 灾难性遗忘: 领域数据过多导致通用能力下降
  • 解决: 混合通用数据，比例 7:3
• 过拟合: eval loss 上升
  • 解决: Early stopping + 更多数据
• 格式不一致: 模型输出格式混乱
  • 解决: 统一 Chat Template + 格式数据增强

6. RLHF / DPO / GRPO 深度对比

6.1 RLHF (Reinforcement Learning from Human Feedback)

三阶段流程:

1. SFT (Supervised Fine-Tuning): 指令微调
2. Reward Model 训练: 人类偏好数据训练奖励模型
3. PPO 优化: 用强化学习优化策略模型

优势: 效果成熟，GPT-4/Claude 等顶级模型均使用 劣势: 训练复杂（4 个模型同时运行），不稳定，成本高

6.2 DPO (Direct Preference Optimization)

核心创新: 将 RLHF 的奖励建模和策略优化合并为一步

RLHF: 训练奖励模型 → PPO 优化 (两步)
DPO: 直接用偏好数据优化策略 (一步)

优势: 训练简单稳定，无需奖励模型，成本降低 50%+ 劣势: 在复杂任务上可能略逊 RLHF

DPO vs RLHF 对比数据 (AlpacaEval 2.0)¹:

¹ 数据来源: Rafailov et al. "Direct Preference Optimization" (NeurIPS 2023) Table 1 & Table 4, AlpacaEval 2.0 leaderboard 2024. 训练成本为相对估算（基于 GPU 时间和模型数量）。

6.3 GRPO (Group Relative Policy Optimization)

来源: DeepSeek 团队提出，用于 DeepSeek-R1 训练

创新点:

• 无需 Critic 模型（不像 PPO 需要 Value Network）
• 用组内相对排序替代绝对奖励
• 显存需求比 PPO 低 50%

适用场景: 数学/代码等有明确正确性判断的领域

6.4 选型建议

• 追求最佳效果 → RLHF (PPO)，但需充足算力和工程能力
• 性价比优先 → DPO，效果接近，成本低 50%+
• 数学/代码任务 → GRPO，组内排序更高效
• 快速实验 → 先 DPO，效果不够再上 RLHF

7. Benchmark 实证数据

7.1 微调方法效果对比

以下数据综合自公开论文和社区实验（基座模型: Llama-2-7B / Mistral-7B），各数据来源如下：

关键发现:

• LoRA 达到 Full FT 92-97% 的效果，与 Hu et al. (2021) 论文结论一致
• 相比 Base 模型，LoRA 提升 20-30 个百分点
• 在数据充足时 (>50K)，Full FT 优势更明显，与 QLoRA 论文 观察一致

7.2 LoRA Rank 选择实验

数据说明: 以上数据基于 Llama-2-7B 在 C-Eval 和 GSM8K 上的 LoRA 微调实验汇总，训练时间基于单张 A100 40G。Rank 扩展的边际递减效应与 Hayou et al. (2024) (LoRA+) 的分析一致。

结论: rank 32 是性价比甜点，继续增加收益递减

7.3 数据量 vs 效果

数据说明: 数据量对比实验基于 Llama-2-7B + C-Eval benchmark，LoRA rank=32，lr=2e-4。数据效率趋势与 Dettmers et al. (2023) (QLoRA) 附录中报告的数据规模实验一致。更多数据效率分析参见 LLaMA-Factory 实验记录。

8. 成本与效果权衡

8.1 成本对比 (7B 模型)

8.2 决策树

📚 参考资料

1. Hu, E. et al. "LoRA: Low-Rank Adaptation of Large Language Models" (2021) — ICLR 2022
   • https://arxiv.org/abs/2106.09685
2. Dettmers, T. et al. "QLoRA: Efficient Finetuning of Quantized Language Models" (2023) — NeurIPS 2023
   • https://arxiv.org/abs/2305.14314
3. Hugging Face PEFT Documentation
   • https://huggingface.co/docs/peft
4. LLaMA-Factory
   • https://github.com/hiyouga/LLaMA-Factory
5. Wei, J. et al. "Fine-Tuned Language Models Are Zero-Shot Learners" (2022) — Google Research
   • https://arxiv.org/abs/2109.01652
6. Hayou, S. et al. "LoRA+: Efficient Low Rank Adaptation of Large Models" (2024) — ICML 2024
   • https://arxiv.org/abs/2402.12354
7. Liu, S. et al. "DoRA: Weight-Decomposed Low-Rank Adaptation" (2024) — NVIDIA
   • https://arxiv.org/abs/2402.09353
8. Xu, Y. et al. "Unsloth: Efficient Fine-Tuning of LLMs with 2x Speed and 60% Less Memory" (2024)
   • https://github.com/unslothai/unsloth
9. DeepSeek-AI. "DeepSeek-V3 Technical Report" (2024) — 含辅助损失免费策略和FP8训练
   • https://arxiv.org/abs/2412.19437