透顶开脱传统要领对旧数据存储的依赖！

哈佛团队联手香港城大、西安交大最新发布的SD-LoRA技能，通过固定已学习任务的地点参数，仅调遣幅度权重，全都幸免了历史数据的存储需求。

粗略在减少 50% 以上参数存储的同期保执最高准确率，况且在不加多推理支出的前提下显耀缓解了恶运性渐忘问题。

该盘考效果已被 ICLR 2025 领受为 Oral Presentation。

作家针对预检修模子的执续学习，不同于之前⼴泛采⽤的搀杂巨匠模子的念念路（将 CL 的瓶颈转化为聘请准确的对应巨匠模子）， 本⽂提倡的 SD-LoRA 算法渐渐引入低秩矩阵，通过倡导其⽅向和幅值，在进步执续学习性能的同期，达成了更好的参数着力。

同期，本⽂也从 low-loss path 的角度起程，⾸次对该类⽅法的灵验性进⾏了深刻解说和表面分析，为相识基于预检修模子的执续学习提供了新的视角。

论文亮点

作家提倡了⼀种⾯向预检修⼤模子的执续学习⽅法 SD-LoRA，具备⽆需回放（rehearsal-free）、推理⾼效、可端到端检修等优点，并进⼀步假想了两个参数更⾼效的变体。

从表面与实证层⾯深刻分析了 SD-LoRA 的⼯作机制，解说其怎么幸免依赖任务特定模块的聘请（Prompt 或者 LoRA） ，为执续学习提供了新的处置念念路和⽅案。

在多个执续学习基准与主流预检修模子上进⾏了全⾯践诺评估，考证了所提⽅法在准确率与着力上的优厚性。

配景

执续学习：假设有个流式任务，第个任务的检修集暗意为

，其中暗意输入图像，为对应的标签。当检修到第个任务时，前个任务的数据已无法获得，对应的检修筹谋函数为：

其中，暗意分类模子，为逐样本的交叉熵亏损。

LoRA：令分类模子的某一层参数为，模子更新参数为，其中矩阵，那么该层对应的输出为：

盘考动机

作家回来现存盘考发现，刻下基于预检修模子的执续学习⽅法，如 prompt-based 和 LoRA-based ⽅法，频繁在检修和测试阶段采⽤路由机制聘请对应的任务特定模块，借此缓解恶运性渐忘问题。

这类⽅法实质上沿⽤了"搀杂巨匠模子（MoE）"的念念路。

然⽽，为了精确聘请对应巨匠模块，路由机制不时依赖于⼤量历史任务的样本或中间特征，带来了较⾼的存储资本。

这不仅抗拒了执续学习在多任务场景下对"轻量化"的条件，还在推理阶段引入了非凡狡计，缩短了推理着力。

△表 1：从 Rehearsal-free，Inference Efficiency 以及 End-to-end Optimization 的角度对现存⽅法的分析。

HiDE-Prompt 和 InfLoRA 性能施展优异，关联词他们都需要存储⼤量往日任务样本的特征。⽽ L2P、DualPrompt、CODA-Prompt 则需要引入路由机制聘请对应的 task-specific 的 prompt，这在模子推理的时候引入了新的狡计量。

作家但愿粗略假想探索⼀种 MoE 逻辑除外的基于预检修模子的执续学习算法：

满⾜ Rehearsal-free，Inference Efficiency，和 End-to-end Optimization 三个特征，使得在多任务执续学习场景下，幸免存储过多往日任务样本及特征，进步推理着力。

从践诺和表面两个维度深刻分析模子缓解恶运性渐忘的内在机制，为执续学习问题提供⼀种不同于现存巨匠聘请战略的新解法。

SD-LoRA 要领

△图 1：模子参数更新，（a）传统 LoRA，（b）所提的 SD-LoRA（以检修到第 2 个任务为例）

本⽂所提的 SD-LoRA 算法主要包含两个模块：

将 LoRA 矩阵的 magnitude 和 direction 解耦出来，

固定之前任务所学习的 LoRA 矩阵的⽅向，关联词同期学习调遣对应 magnitude。其中橙⾊的部分为 learnable 的部分。

践诺限度发现 SD-LoRA 在满⾜ rehearsal-free，Inference Efficiency，End-to-end Optimization 的同期也取得了很好的性能施展。

为了更好的解说 SD-LoRA 的践诺性能，下⾯咱们将分手从践诺及表面两个角度进⾏了深刻分析，从 low-loss path 的角度对 SD-LoRA 提供了新的解说。

Empirical Finding 1：（Low-loss Region 的存在性）：当平直在不同卑鄙任务上微调基础模子时， 得到的任务特定权重之间的距离，比它们与原始模子权重的距离更接近。

( a ) . 暗意预检修模子的权重，暗意模子平直在第

个任务上 finetune 所得到的参数。 ( a ) 图标明参数空间中测量相对距离，这些卑鄙任务特定的权重互相之间的距离比拟于基础模子开动权重愈加接近，呈现出集结趋势。

( b ) ( c ) . 在检修完第一个任务后，咱们固定其地点，只调遣 magnitude 去学习，即可见其性能致使优于 Vanilla LoRA，评释对所有任务最优的参数可能位于地点隔壁，仅通过调遣 magnitude 即可学到。进一步评释了卑鄙任务模子最优参数可能位于一个 low-loss region 里。

Empirical Finding 2：（可学习参数

的可视化）：在执续学习经过中，来自先前任务的地点（即）起到了要道作用——尤其是早期任务中学到的地点。

( a ) . 咱们领先狡计了刻下任务地点与之前任务地点聚合之间的最小二乘拟合残差。限度透露该残差随期间逐步增大，评释在检修初期，新学到的地点与早期任务高度对皆，不错灵验复用已学习的地点；跟着检修的鼓励，逐步偏离，渐渐引入微弱变化以适配新任务。

( b ) ( c ) . 早期任务对应的值飞快高潮，此后期任务则呈现出举座下落趋势。这标明模子在推理经过中越来越依赖于早期学习到的地点，而新引入的地点主要用于轻飘调遣，以闲静后续任务的特定需求。

Empirical Finding 3：（模子缓解渐忘的假设及考证）：SD-LoRA 通过结合先前任务中固定的方与学习到的 magnitude, 灵验地挖掘出一条 low-loss path，指向所有任务分享的低损区域。

( a ) .SD-LoRA 算法灵验的假设，通过调遣 magnitude，模子愈加容易找到 low-loss path 从而络续到 shared low-loss region。

( b ) ( c ) . 分手对 LoRA 和 SD-LoRA 进行插值，考证了（a）假设，SD-LoRA 相对 LoRA，在防守 task 1 性能的同期，灵验的进步了 task 2 的性能，评释了 SD-LoRA 络续到了 shared low-loss region。

表面分析

咱们从矩阵靠拢的角度分析，令暗意 CL 最优的模子参数。跟着检修的进行，学习得到的矩阵会逐步靠拢的主身分。

这也印证了 finding 2 中模子所学习到的

逐步下落的趋势。

SD-LoRA 的高效版块

尽管所提 SD-LoRA 算法幸免了存储往日任务的样本及特征，但仍需要存储不同任务 LoRA 矩阵的地点信息，为了进一步达成梦想的可延迟的执续学习算法，咱们在 SD-LoRA 的基础上提倡了两个 efficient 的版块。

( SD-LoRA-RR ) 。咱们在 theoretical 和 finding 2 都说明了背面引入的 LoRA matrix 不如前边的伏击。基于此，咱们动态的缩短了后续引入 LoRA 矩阵的 rank，从而缩短了需要存储的 LoRA 矩阵的参数目。

( SD-LoRA-KD ) 。尽管 SD-LoRA-RR 不错缩短存储的 LoRA 矩阵的参数目，关联词他依然不成幸免的在检修新任务时引入新的低秩矩阵。SD-LoRA-KD 通过判定新引入 LoRA 矩阵地点信息是否冗余，将学问蒸馏到之前所学习到的 LoRA 矩阵上，从而幸免了引入新的矩阵。

SD-LoRA 偏执 efficient 版块相应的伪代码如下：

践诺限度

1.：SD-LoRA 在不同的任务长度，benchmarks 上的性能。

2.：SD-LORA 在检修经过中的多个任务的平均性能。

3.：SD-LORA 的消融践诺。

4.：不同要领的复杂度分析。

论断

本文提倡的 SD-LoRA 是一种 rehearsal-free、推理高效、可端到端优化的执续学习要领。

不同于以往依赖搀杂巨匠模子的作念法，SD-LoRA 通过渐渐引入低秩矩阵，并将其地点与幅值倡导，达成了参数高效、无路由机制的执续学习。

在多个基准任务和预检修模子上的践诺标明，SD-LoRA 在不加多推理支出的前提下显耀缓解了恶运性渐忘问题。

同期，本文还从教诲和表面两个角度深刻分析了 SD-LoRA 的责任机制，揭示了其能灵验挖掘不同任务分享低损旅途的实质，提供了一种全新的执续学习处置念念路。

论文地址 :

https://openreview.net/pdf?id=5U1rlpX68A

代码地址 :

https://github.com/WuYichen-97/SD-Lora-CL

本文第一作家 Yichen WU   ( 个东说念主主页：https://wuyichen-97.github.io/ ) 正在找对于 Continual Learning, LLM Hallucination 等揣测鸿沟的 Postdoc Postion, 迎接民众有顺应岗亭揣测 : yichen@seas.harvard.edu

一键三连「点赞」「转发」「堤防心」

迎接在评述区留住你的目的！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 样式主页联结，以及揣测神气哦

咱们会（尽量）实时复兴你

� � 点亮星标 � �

科技前沿进展逐日见欧洲杯体育