QQ在线客服：853029381
丰色 发自 凹非寺
量子位 | 公众号 QbitAI
一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展？
不行，这些都太费硬件资源了。
来看一个奇妙新解：
和长度外推等方法使用 KV 缓存的本质不同，它用模型的参数来存储大量上下文信息。
具体办法就是建一个临时 Lora 模块，让它仅在长文本生成过程中 " 流式更新 "，也就是用先前生成的内容不断作为输入来充当训练数据，以此保证知识被存进模型参数中。
然后一旦推理完成，就丢掉它，保证不对模型参数产生长久影响。
这个方法可以让我们不用扩展上下文窗口的同时，随便存储上下文信息，想存多少存多少。
实验证明，这种方法：
既可以显著提高模型长文本任务质量，实现困惑度下降 29.6%，长文本翻译质量提高 53.2%；
还能兼容并增强现有大多数长文本生成方法。
最重要的是，能大大降低计算成本。
在保证生成质量小幅提升的同时，推理所需的 FLOPs 降低 70.5%、延迟降低 51.5%！
具体情况，我们翻开论文来看。
建个临时 Lora 模块用完即丢
该方法名叫Temp-Lora，架构图如下：
其核心就是以自回归的方式用先前生成的文本上逐步训练临时 Lora 模块。
该模块适应性很强可以不断调整，因此对不同远近的上下文都能深入理解。
具体算法如下：
在生成过程中，token 是逐块生成的。每次生成块时，使用最新的 Lxtoken 作为输入 X 生成后续 token。
一旦生成的 token 数量达到预定义的区块大小∆，就使用最新的块启动 Temp-Lora 模块的训练，然后开始下一个块生成。
在实验中，作者将∆ +Lx 设置为 W，以充分利用模型的上下文窗口大小。
对于 Temp-Lora 模块的训练，如果在没有任何条件的情况下，学习生成新的块可能构不成有效的训练目标，并导致严重的过拟合。
为了解决这个问题，作者将每个块前面的 LT 标记合并到训练过程中，将它们用作输入，将块用作输出。
最后，作者还提出了一种称为缓存重用策略来实现更高效的推理。
一般来说，在标准框架中更新 Temp-Loramo 模块后，我们需要使用更新的参数重新计算 KV 状态。
或者，重用现有的缓存 KV 状态，同时使用更新的模型进行后续的文本生成。
具体来说，只有当模型生成最大长度时，我们才使用最新的 Temp-Lora 模块重新计算 KV 状态。
这样的缓存重用方法就可以在不显著影响生成质量的情况下加快生成速度。
关于 Temp-Lora 方法的介绍就这么多，下面主要看测试。
文本越长，效果越好
测试数据集一个是长文本语言建模基准 PG19 的子集，从中随机抽取了 40 本书。
另一个是来自 WMT 2023 的国风数据集的随机抽样子集，包含 20 部中文网络小说，由专业人员翻译成英文。
首先来看 PG19 上的结果。
下表显示了 PG19 上带有和不带有 Temp-Lora 模块的各种型号的 PPL比较。将每个文档划分为 0-100K 到 500K+token 的片段。
可以看到，所有型号经过 Temp-Lora 之后 PPL 都显著下降，并且随着片段越来越长，Temp-Lora 的影响更加明显。
因此，我们可以简单地得出结论：文本越多，使用 Temp-Lora 的必要性就越强。
此外我们还能发现，将块大小从 1024 调整到 2048 和 4096 导致 PPL 略有增加。
这倒是不奇怪，毕竟 Temp-Lora 模块是在之前块的数据上训练的。
这个数据主要是告诉我们块大小的选择是生成质量和计算效率之间的关键权衡。
最后，我们还能从中发现，缓存重复使用不会导致任何性能损失。
下面是国风数据集上的结果。
可以看到，Temp-Lora 对长文本文学翻译任务也有显著影响。
与基础模型相比，所有指标都有显著改进：PPL 降低了 -29.6%，BLEU 得分提高了 +53.2%，COMET 得分提高了 +8.4%。
最后，是计算效率和质量方面的探索。
相反，如果我们完全忽略计算成本，使用最 " 豪华 "的配置，也可以实现 5.0% 的 PPL 降低，并额外增加 17% 的 FLOP 和 19.6% 的延迟。
使用建议
总结以上结果，作者也给出了实际应用 Temp-Lora 的三点建议：
1、对于需要最高级别长文本生成的应用，在不更改任何参数的情况下，集成 Temp-Lora 到现有模型中，就能以相对适中的成本显著提高性能。
2、对于看重最小延迟或内存使用的应用，可以通过减少输入长度和在 Temp-Lora 中存储的上下文信息来显著降低计算成本。
在这种设置下，我们可以使用固定的短窗口大小来处理几乎无限长的文本。
3、最后，请注意，在不含大量文本的场景中，例如预训练中上下文比模型的窗口大小还小，Temp-Lora 就是毫无用处的。
值得一提的是，发明这么简单又创新的办法，作者却没有留下太多出处信息：
机构名称直接落款 " 保密机构 "，三位作者的名字也只有完整的姓。
不过从邮箱信息来看，可能来自港城大、港中文等学校。
最最后，对于这个方法，你觉得怎么样？
论文：
— 完 —
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
