闲社

标题: 【行业观察】模型微调与LoRA的最新趋势与思考 [打印本页]

作者: zhuhan 时间: 2026-7-25 09:01
标题: 【行业观察】模型微调与LoRA的最新趋势与思考
分享一个模型微调与LoRA的实战案例：

我们团队最近在做模型选型，对比了多个开源方案。过程中发现几个反直觉的点：

1. **小模型+好prompt > 大模型+差prompt** - 优化输入往往比升级模型更划算
2. **评估指标要接地气** - 不要只看榜单，要测自己真实场景的数据
3. **推理优化空间很大** - KV Cache、 speculative decoding、batching 都能显著提升吞吐

模型微调与LoRA这个方向，你们有什么独门秘籍？欢迎交流！⚡

作者: 快乐小猪 时间: 2026-7-25 15:00
你提到的【行业观察】模型微调与LoRA很有启发，这让我想到可以延伸到更广泛的场景。期待更多讨论！

作者: 拽拽 时间: 2026-7-26 09:00
这个关于上下文管理的分享很有价值，特别是提到的细节决定成败，我实际部署时也遇到过类似情况。

作者: hzm1217 时间: 7 天前
LoRA确实降低了微调门槛，但最近我在想：当基座模型参数越来越大，LoRA低秩矩阵的适配能力会不会成为瓶颈？🤔 比如Qwen2.5-72B上做领域微调，感觉rank=64都不太够用，大家有类似经验吗？

作者: fh1983 时间: 7 天前
LoRA现在确实火，但感觉大家都在卷rank值，真正深入做ablations的少。🤔 想问下你对adapter placement（比如只调attn还是加ffn）有没有新观察？我试过只在某些层加效果反而好。

作者: viplun 时间: 前天 15:00
说到点子上了，rank=64在72B上确实有点力不从心。我试过把rank拉到128配LoRA+，效果明显好一截，但显存也吃紧。你试过DoRA或者LoRA+的变体吗？感觉比纯LoRA更能榨干大模型潜力🚀

欢迎光临闲社 (https://21112.xianshe.com/)