Algorithm 2 Pytorch code for MRL Linear Layer

class MRL_Linear_Layer(nn.Module):
def __init__(self, nesting_list: List, num_classes=1000, efficient=False, **kwargs):
    super(MRL_Linear_Layer, self).__init__()
    self.nesting_list=nesting_list # set of m in M (Eq. 1)
    self.num_classes=num_classes
    self.is_efficient=efficient # flag for MRL-E
    if not is_efficient:
        for i, num_feat in enumerate(self.nesting_list):
        setattr(self, f"nesting_classifier_{i}", nn.Linear(
        num_feat, self.num_classes, **kwargs))
    else:
        setattr(self, "nesting_classifier_0", nn.Linear(self.
        nesting_list[-1], self.num_classes, **kwargs)) #Instantiating one nn.Linear layer for MRL-E
    def forward(self, x):
        nesting_logits = ()
        for i, num_feat in enumerate(self.nesting_list):
            if(self.is_efficient):
                efficient_logit = torch.matmul(x[:, :num_feat],
                (self.nesting_classifier_0.weight[:, :
                num_feat]).t())
            else:
                nesting_logits.append(getattr(self, f"nesting_classifier_{i}")(x[:, :num_feat]))
        if(self.is_efficient):
            nesting_logits.append(efficient_logit)
        return nesting_logits

MRL应用：

MRL的作用：MRL允许在相同的高维向量内学习不同层次的表示，从而提供了一种灵活的方式来根据数据和任务需求进行自适应部署。

高效分类与检索：

在推理阶段，高效的分类和检索不仅需要考虑固定的深度特征化成本，还要考虑随标签空间大小和数据量增长的搜索成本。虽然有些技术可以解决这些问题，例如使用近似最近邻搜索（ANNS）减少对标签数量的线性依赖，但对于大数据集来说，仍然存在内存和计算资源的压力。

MRL通过学习多层次的嵌套表示来应对这种挑战。低维度的套娃表示与独立训练的对应表示一样准确，但不需要多次昂贵的前向传递。这样，在执行检索时，可以根据需要使用不同级别的表示，而无需重新编码整个数据库。这种方法提供了高维向量与其高效索引之间的中间抽象层，使得即使在大规模下也能实现有效的检索。MRL优化的是O(log(d))个嵌套维度，而不是全部的O(d)维度，同时它能够在优化后的表示之间准确地插值信息，从而使大规模的应用变得可行。

总之，MRL提供了一种新颖的方法，可以在保持准确性的同时，提高在大规模数据集上进行分类和检索的效率。

具体实验：

图像分类

• ResNet50 on ImageNet-1K：ResNet50是一种深度残差网络，它在ImageNet-1K数据集上被广泛用于图像分类任务。ImageNet-1K是一个大规模的图像数据集，包含1000个类别的图像。
• ViT-B/16 on JFT-300M：ViT-B/16是一种基于Transformer的视觉模型（Vision Transformer），在JFT-300M数据集上进行训练。JFT-300M是一个非常大的图像数据集，包含大约3亿张带有标签的图像。

视觉与语言的对比学习

• ALIGN模型：ALIGN（Aligned Multimodal Representations）模型结合了视觉和语言信息。它使用ViT-B/16作为视觉编码器，BERT作为语言编码器，并在ALIGN数据集上进行训练。这个模型旨在学习跨模态的一致表示。

掩码语言建模

• BERT on English Wikipedia and BooksCorpus：BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的语言模型，它在英文wiki和BooksCorpus数据集上进行掩码语言建模任务。掩码语言建模是一种自监督学习方法，通过预测文本中的掩码词来学习语言表示。

没有为所有的MRL实验寻找最佳超参数，而是使用与独立训练的基线模型相同的超参数。ResNet50输出一个2048维的表示，而ViT-B/16和BERT-Base为每个数据点输出768维的嵌入。

分别使用M = {8, 16, 32, 64, 128, 256, 512, 1024, 2048} 和 M = {12, 24, 48, 96, 192, 384, 768} 作为显式优化的嵌套维度。最后，我们将MRL和MRL-E模型广泛地与独立训练的低维（固定特征）表示(FF)、降维(SVD)、可变宽度网络以及最高容量FF模型中随机选择的特征进行了比较。

分类任务：

通过线性分类/探针（LP）和1-最近邻（1-NN）准确性来评估所学习表示的质量和容量。实验表明，MRL模型在提供从粗到细的表示时，消除了对|M|个资源密集型独立训练模型的依赖，同时保持了相同的准确性。最后，我们展示了尽管只针对|M|个维度进行了优化，MRL模型还是以插值的方式将信息扩散到了所有d个维度上，提供了自适应部署所需的最精细粒度。

ResNet50 模型 输出2048维 采用的M = 8, 16, 32, 64, 128, 256, 512, 1024, 2048

2DMSE：

套娃表示学习（MRL）能够在最小化效率与准确性权衡的情况下缩短嵌入向量。开发者可以在嵌入向量的末端简单地丢弃一些维度，而不会损害其表示质量，从而提高下游任务的效率。OpenAI 使用 MRL 来缩短他们的嵌入。但它通过所有 Transformer 层计算嵌入，导致昂贵的推理阶段没有改变。

二维套娃句子嵌入（2DMSE），它通过在训练过程中随机选择 Transformer 的不同层并进行微调，提高了句子嵌入的效率和适应性。2DMSE模型支持在嵌入大小和Transformer 层数上进行弹性配置，使得模型能够在保持性能的同时，显著减少计算和内存消耗。实验结果表明，2DMSE在语义文本相似性（STS）任务上表现出色，且在不同嵌入维度和模型深度的配置下具有很好的可扩展性，使其适用于各种计算资源和任务需求。

下面这张图对比了传统嵌入，MRL 和 2DMSE 三种嵌入方法的区别，可以看出三者都是基于Transformer架构，但是传统句子嵌入不具有层可伸缩性，且推理速度传统句子嵌入<MRL<2DMSE，嵌入的利用率，传统的要慢于 MRL 和 2DMSE。且后两个都有嵌入可以独立使用。紫色块代表与套娃损失一起经过AngIE微调的Transformer层