为了提高自回归采样器在图像生成中的速度，研究者们采取了多种优化策略，这些策略包括但不限于：
- 使用扩散过程：何恺明老师的2024年新作提出了一种无需向量量化的自回归图像生成方法，通过扩散过程来建模每个token的概率分布，从而在连续值空间中应用自回归模型。这种方法消除了对离散值tokenizer的需求，可以更高效地生成图像，同时保留自回归模型的速度优势。
- 改进的自回归模型：LlamaGen模型系列通过将大型语言模型（LLMs）的“下一个令牌预测”范式应用于视觉生成领域，探索了未经视觉信号归纳偏置调整的原始自回归模型在适当扩展后能否实现顶尖的图像生成性能。LlamaGen在ImageNet 256x256基准上取得了2.18的FID得分，优于流行的扩散模型，并实现了推理速度的显著提升。
- 残差量化VAE（RQ-VAE）：通过使用残差量化来精确逼近特征图并降低其空间分辨率，RQ-VAE可以在不增加编码簿大小的情况下，使用固定大小的编码簿以从粗到细的方式递归量化特征图。这种方法使得AR模型以低计算成本有效地生成高分辨率图像，并且显著提高了采样速度。
- 视觉自回归建模（VAR）：提出了一种新的视觉自回归生成范式，即VAR，它模仿人类处理图像的逻辑顺序，使用从整体到细节的多尺度顺序逐渐生成token map。VAR在模型参数和图片尺寸相当的情况下，能比传统AR快数十倍，并且在效果、速度、Scaling能力多方面超越了Diffusion模型。
- 优化Transformer结构：通过改进Transformer结构，例如使用更高效的注意力机制，可以减少计算量并提高自回归模型的推理速度。
- 并行化处理：在可能的情况下，对自回归模型进行并行化处理，尤其是在生成过程中可以并行生成的步骤，可以显著提高生成速度。
- 减少序列长度：通过减少序列长度，例如使用更低分辨率的特征图或者更少的编码步骤，可以减少自回归模型的计算负担。
- 使用高效的图像分块器：开发高效的图像分块器，可以减少需要生成的像素数量，从而提高整体的图像生成速度。
这些方法的结合使用，有望在未来进一步提升自回归采样器在图像生成任务中的性能和速度。
