改变预训练模型的行为方式——例如，提高它们在下游任务中的表现或减轻在训练前学习到的偏见——是开发机器学习系统时常见的一种做法。在这项工作中，我们提出了一个新的范式来指导神经网络的行为。一个任务向量指定了一个预先训练过的模型的权重空间中的一个方向，这样向该方向的运动就可以提高任务的性能。我们通过在对任务进行微调后，从同一模型的权重中减去一个预训练模型的权重来构建任务向量。我们证明了这些任务向量可以通过减法和加法等算术运算来修改和组合，并相应地引导所得到的模型的行为。减去一个任务向量会降低目标任务的性能，而在对照任务上的模型行为变化不大。此外，同时添加任务向量可以同时提高多个任务的性能。最后，当任务通过“a是B和C是D”形式的类比关系联系起来时，结合来自三个任务的任务向量可以提高第四个任务的表现，即使没有使用来自第四个任务的数据进行训练。总的来说，我们对几种模型、模式和任务的实验表明，任务算法是一种简单、高效、有效的模型编辑方法。

改变预训练模型的行为方式——例如，提高它们在下游任务中的表现或减轻在训练前学习到的偏见——是开发机器学习系统时常见的一种做法。在这项工作中，我们提出了一个新的范式来指导神经网络的行为。一个任务向量指定了一个预先训练过的模型的权重空间中的一个方向，这样向该方向的运动就可以提高任务的性能。我们通过在对任务进行微调后，从同一模型的权重中减去一个预训练模型的权重来构建任务向量。我们证明了这些任务向量可以通过减法和加法等算术运算来修改和组合，并相应地引导所得到的模型的行为。减去一个任务向量会降低目标任务的性能，而在对照任务上的模型行为变化不大。此外，同时添加任务向量可以同时提高多个任务的性能。最后，当任务通过“a是B和C是D”形式的类比关系联系起来时，结合来自三个任务的任务向量可以提高第四个任务的表现，即使没有使用来自第四个任务的数据进行训练。总的来说，我们对几种模型、模式和任务的实验表明，任务算法是一种简单、高效、有效的模型编辑方法。

介绍大模型背景下，Prompt Learning对模型训练的影响

简要介绍域名分类任务的概念和常见分类模型