sora可以说是现在文生视频领域中效果最好的模型了，但OpenAI并未开源sora的全部技术，只是在官网上公开了一篇相关的技术文档，根据技术文档我们可以从中可以窥探一二，下面的内容就是根据技术文档来解析的。

transformer大家都知道，在nlp领域已经用的很成熟了，基于此发展出了GPT和BERT两种方式的预训练语言模型，为NLP各项下游任务带来了显著的性能提升。那transformer这么有效好用的方法是否适用于cv领域呢？答案是肯定的，ViT将标准的transformer结构运用到图像识别任务上取得了很好的性能，并证明了在大量数据进行预训练后，再迁移到中小型数据集（ImageNet, CIFAR-100, VTAB等），ViT能够取得和最高水平卷积神经网络类似的结果，同时大幅减少训练中的计算资源消耗。

生成模型在自然语言处理、图像生成等领域中得到了广泛应用。然而，由于其基于概率模型，难以保持客观性，因此需要使用一些技术来弥补不足。生成模型的评估是一个复杂的问题，需要综合考虑多个因素。虽然目前尚未就应使用哪些指标达成共识。Borji (2018)进行了广泛比较，下面是当前研究中最广泛使用的几种方法。

MLPerf是一套用于衡量机器学习软硬件性能的通用基准，主要用来测量训练和推理不同神经网络所需要的时间。MLPerf包含了不同领域的Benchmark子项，主要包括图像分类、目标检测、翻译、推荐、语音识别、情感分析以及强化学习。

CLIP是一种新的机器学习方法，它可以同时理解图像和文本。CLIP是用对比学习的方式来预训练一个能够同时处理图像和文本的模型。CLIP可以用自然语言来分类图像，用图像来生成文本描述，用文本来检索图像等等。CLIP只需要一个简单的线性分类器或者最近邻搜索就可以完成这些任务，不需要任何额外的训练或者微调。 下面将介绍CLIP的方法，以及优势和局限性，并给出一些后续有意思的应用工作。