Prefix Tuning：是一种参数高效的迁移学习技术，主要用于自然语言处理（NLP）任务中。与传统的微调（Fine-tuning）方法不同，它不直接调整预训练模型的所有参数，而是通过在输入序列前添加一个可训练的前缀向量集合来实现对特定任务的适应。
梯度冲突（Gradient Conflict）
虽然这不是一个正式定义的术语，但在某些上下文中，“梯度冲突”可以用来描述不同任务或目标之间的梯度相互干扰的情况，特别是在多任务学习或多目标优化场景下。例如，在一个多任务学习框架中，如果两个任务的目标函数对同一组参数的最优解方向相反，那么这两个任务产生的梯度可能会相互抵消或削弱对方的影响，这种现象可以被视为一种“梯度冲突”。它会使得模型难以同时在这两个任务上取得良好的表现。
一文了解prompt learning在计算机视觉领域进展 - 知乎
不过上边的是2022年的
Hierarchical Prompt Learning for Multi-Task Learning
1.构建了一个层次任务树；
Hierarchical Prompt (HiPro)
提出的HiPro通过基于任务间亲和力的凝聚层次聚类构建了一个层次任务树。具体来说，树的内部节点代表了一个包含类似任务簇的任务组（在后代叶子处）
不同任务划分为不同子树，减轻冲突；
对于每个节点，HiPro学习一个相应的提示来捕获细粒度任务组的general信息。
任务个体prompt（叶节点）
任务共享prompt（非叶节点）
其他：
自动提示生成：
Recently, automatic prompt generation
[
18
,
26
,
30
,
33
,
57
,
78
]
Hipro是一个MTL（multi-task-learning多任务学习）的东西
具体方法：
HiPro 首先根据任务对的梯度方向估计任务间的affinity。
然后进行平均链结聚类法，两两匹配亲和度最高的（
基于梯度方向相似性的亲和度计算：通过比较任务对之间梯度方向的点积来估计它们的亲和度，这有助于识别哪些任务可以一起训练而不引起冲突。），合并后放入集合中，再计算，以此类推直到集合内只剩1个集合。
这样生成树节点。
扫一扫
703
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
