不是所有场景都需要微调，先试RAG和Prompt Engineering。

三种方案对比

  • Full Fine-tuning——效果最好但成本极高($5000+GPU时)，需10万+数据
  • LoRA——仅训练0.1%参数，成本降90%，效果接近全量
  • QLoRA——4bit量化+LoRA，单卡24GB可微调70B模型

推荐：先QLoRA验证→效果好则升级LoRA→特殊情况才Full。工具：Axolotl/Unsloth。

编译来源：Hugging Face Blog (2026)