大模型训练推理显存计算原理介绍

YOLO-World论文调研

用于视觉识别的视觉语言模型（VLM）能够有效地使用网络数据，并允许零样本预测，而无需特定于任务的微调，在广泛的识别任务中取得了巨大的成功。本报告从VLM的研究背景、研究意义、理论框架、技术方法、商业化大模型和未来的研究方向等几个方面对VLM进行了调研，并将不同的算法进行了比较总结。

用于视觉识别的视觉语言模型（VLM）能够有效地使用网络数据，并允许零样本预测，而无需特定于任务的微调，在广泛的识别任务中取得了巨大的成功。本报告从VLM的研究背景、研究意义、理论框架、技术方法、商业化大模型和未来的研究方向等几个方面对VLM进行了调研，并将不同的算法进行了比较总结。

《R-TOSS: A Framework for Real-Time Object Detection using Semi-Structured Pruning》提出了一种新的半结构化剪枝框架R-TOSS，它克服了最先进的模型剪枝技术的缺点。在JetsonTX2上的实验结果表明，R-TOSS在YOLOv5目标探测器上的压缩率为4.4×，推理时间加速了2.15×，能耗降低了57.01%。R-TOSS还可以在RetinaNet网络上进行2.89×的压缩，推理时间加速了1.86×，能耗降低了56.31%。还展示了与各种最先进的剪枝技术相比的显著改进。