PEFT-LISA

LISA是LoRA的简化版，但其抓住了LoRA微调的核心，即LoRA侧重更新LLM的底层embedding和顶层head。

根据上述现象，LISA提出两点改进：

• 始终更新LLM的底层embedding和顶层head
• 随机更新中间层的hidden state

实验结果

显存占用

毕竟模型参数大头还是在底层embedding，所以显存占用并没有减少太多。

训练时间

下游任务微调

在MT-BENCH上，LISA超过了LoRA，甚至全量参数微调。

---

参考

• 比LoRA还快50%的微调方法来了！一张3090性能超越全参调优，UIUC联合LMFlow团队提出LISA
• LMFlow