极少数据就能微调大模型，一文详解LoRA等方法的运作原理

最近和大模型一起爆火的，还有大模型的微调方法。

这类方法只用很少的数据，就能让大模型在原本表现没那么好的下游任务中 " 脱颖而出 "，成为这个任务的专家。

而其中最火的大模型微调方法，又要属LoRA。

但包括 LoRA 在内，这类方法的核心原理究竟是什么？它和大模型之间的关系又是什么？我们具体来看。

一、前言

先从最近大火的LoRA 说起。

该文章在 ICLR2022 中提出，说的是利用低秩适配的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。

LoRA 是怎么去微调适配下游任务的？

流程很简单，LoRA 利用对应下游任务的数据，只通过训练新加部分参数来适配下游任务。

而当训练好新的参数后，利用重参的方式，将新参数和老的模型参数合并，这样既能在新任务上到达 fine-tune 整个模型的效果，又不会在推断的时候增加推断的耗时。

LoRA 的示意图如下：

图中蓝色部分为预训练好的模型参数，LoRA 在预训练好的模型结构旁边加入了 A 和 B 两个结构，这两个结构的参数分别初始化为高斯分布和 0，那么在训练刚开始时附加的参数就是 0。

A 的输入维度和 B 的输出维度分别与原始模型的输入输出维度相同，而 A 的输出维度和 B 的输入维度是一个远小于原始模型输入输出维度的值，这也就是 low-rank 的体现，这样做就可以极大地减少待训练的参数了。

在训练时只更新 A、B 的参数，预训练好的模型参数是固定不变的。在推断时可以利用重参数思想，将 AB 与 W 合并，这样就不会在推断时引入额外的计算了。

而且对于不同的下游任务，只需要在预训练模型基础上重新训练 AB 就可以了，这样也能加快大模型的训练节奏。

由于本文不具体介绍 LoRA，所以详细信息可以查看 LoRA 原文。我们只需要知道 LoRA 文章后续的实验已经论证该方法的有效性。

那么进一步思考，为什么 LoRA 的这种思路能 work 得不错呢？

答案就是接下来要讲的本征维度 了。

这点 LoRA 原文也提到过，该文章灵感来源于下面两篇文章：

1、MEASURING THE INTRINSIC DIMENSION OF OBJECTIVE LANDSCAPES，发表在 ICLR2018，为了方便接下来该论文称为

2、INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGEMODEL FINE-TUNING，发表在 ACL2021，为了方便接下来该论文称为

二、本征维度是什么？

本征维度的概念在中提出。

训练一个神经网络往往包含如下几步：

1、对于一个给定的数据集，先设计网络的结构和选择对应的 loss

2、对网络中的参数进行随机的初始化

3、训练网络使得 loss 越来越低

而训练阶段可以认为是在一个固定的目标图上，寻找出有效的路径。

这里解释一下为什么是固定的目标图。因为在数据集和网络结构固定下来后，待优化的问题就已经定义好了，所以目标图也就是确定的了。

如下图所示：

那么对于一个参数量为 D 的模型

我们训练该模型，也就意味着在 D 维空间上寻找有效的解。文章认为 D 可能是冗余的，可能实际上只需要优化其中的 d 个参数就可以找到一个有效的解。

用公式表示如下：

其中

表示 D 维的优化参数，

表示随机初始化的一个参数并且在训练时是不进行更新的，P 是一个随机初始化的 D × d 大小的矩阵且训练时也不进行更新，

表示待优化的 d 维参数。

也就是说可以在训练网络时只更新 d 维参数，就可以达到该网络应有的效果。那么这个 d 就是所谓的该模型的本征维度。

这里讲完可能还有点晕，我们看一下如下这张图：

上图中，蓝色部分为初始化好的网络参数

绿色为

红色为

网络训练的时候只训练红色部分，其它参数都是固定的。d 就是本征维度。

上面讲的只更新 d 维参数，让网络达到应有的效果，那么什么应有的效果呢？文章定义，在只更新 d 维参数的情况下，网络效果达到训练原始模型时效果的 90% 时，那么就认为达到了 " 应有的效果 "，并且 d 就为本征维度。

例如在做 mnist 这个数字分类任务时，如果原始模型精度能到 0.9，那么在只更新 d 维参数的时候，精度能够达到 90% × 0.9=0.81，就认为这时候的 d 为本征维度记为

三、使用本征维度思考大模型微调的有效性

将之前提出的本征维度用来思考大模型微调的有效性，为什么现在用几百或者几千张图片就可以对大模型进行有效的微调？

根据阐述，对于某一类问题，在一定精度上有本征特征的存在。对于大模型而言，进行本征维度的测试就能知道在解决某一类下游问题时，需要调整多少参数就能近似的解决当前的问题。

如果真的有实验能证明仅仅调整少数的参数就能很好的解决下游问题，那么也就能回答上述问题，即对大模型做少量的微调，就能解决当前的问题。

下面无特殊说明的话，" 文章 " 指的都是

3.1 对于大模型而言，是否存在本征维度？

同一样，也利用公式

来进行模型的训练，即训练时只调整 d 维参数

但与的实验有点不同的是，中

是随机初始化的，而中

是预训练好的参数。

首先选择 BERT-BaseBERT-LargeRoBERTa-BaseRoBERTa-Large 四个模型，并选择 GLUE benchmark 中的 MRPC 和 QQP 两个数据集。

上下两个子图分别表示 MRPC 和 QQP 两个任务，每个子图有四条实线表示四个模型的准确率，四条虚线表示达到 fine-tune 整个模型 90% 的准确率的值，横坐标表示训练 d 维的大小。从图中可以看出两个任务，四个不同的模型，只需要训练较小的 d 维参数就可以达到 90% 的精度。本征维度这个概念在大模型中是成立的。

所以在训练某个下游任务时，只需要训练少量参数就能达到不错的效果了。这时文章开头的问题就已经解决了。但是作者做了一些其他的实验，发现了一些有意思的结论。

3.2 预训练的好坏与本征维度的关系

文章提出这样一个假设，预训练模型能够隐式地降低模型在 NLP 各个任务的本征维度。

基于这个猜想，文章做了下面实验，在预训练 RoBERTa-base 模型的时候，每隔 10K 保存下对应的预训练模型，然后测试保存下来的预训练模型在 MRPC、QQP、Yelp Polarity、SST-2、MNLI、ANLI 六个数据集本征维度。

结果如下：

可以看出，在不同数据集上有相同的趋势，就是预训练次数越多，模型在各个任务上的本征维度越低。实验并没有特意去优化所谓的本征维度，只是预训练久一点而已。所以印证了预训练模型的表征能力越强，本征维度越小。

3.3 预训练模型参数与本征维度的关系

本来在做预训练参数与本征维度关系的时候，需要统一模型的结构，这样更有说服力。但是作者说，这样要训练很多大模型的实验，为了更方便的对比文章根据已有的结构来做实验。从实验结果的趋势来看，不同结构也能得到有效的结论。

文章利用已有的预训练模型，在 MRPC 数据集上计算本征维度。

实验结果如下：

上图中纵坐标表示本征维度的值，横坐标表示模型的参数量。从图中的趋势可以明显看出，模型越大本征维度越小，即越强的模型本征维度越低。

3.4 本征维度与泛化能力的关系

上面介绍了 fine-tune、预训练和本征维度的关系，但本征维度与泛化能力的关系还没有验证。即我们现在知道了让本征维度小的方式，但是本征维度小了，泛化能力就能上去吗？

文章又做了下面的实验，把 3.2 保存下来的模型，在对应的

的本征维度上，进行不同数据集的测试，结果如下：

可以看出本征维度低的模型，训练出来的模型准确率是更高的。也就是说本征维度越低，泛化性能越好。

回到引言的问题：为什么 LoRA 思路能 work？

因为大模型存在本征维度的概念，只需要调整少量参数就能在下游任务上得到很好的效果。

参考文献：

原博客地址：

* 本文系量子位获授权刊载，观点仅为作者所有。

— 完 —

量子位 QbitAI

վ ' ᴗ ' ի 追踪 AI 技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~