本文探讨了图像理解类多模态大模型的测评分类维度，论述了当前该类多模态大模型的不足及挑战，最后介绍了目前比较先进的多模态测评体系mmbench的基本实现及实现创新点

自动驾驶技术是近年来汽车工业和人工智能领域的一个重要发展方向，它涉及到车辆的感知、决策和控制等多个方面。在自动驾驶系统中，场景理解是一个基础而关键的步骤，它帮助车辆理解周围环境并做出相应的反应。BEV（鸟瞰视图）和PV（透视图）是两种不同的视角模型，它们在自动驾驶场景中被用来处理和解释车辆周围的环境信息。 本文初步探讨了BEV和PV模型的技术原理及异同点，介绍了评测数据集、评测指标等内容

结合目前标杆的多模态大模型（如GPT-4系列），总结分析了多模态大模型的亮点能力，以及一些潜在应用场景。

多模态大模型是通往通用AI的关键之路，它可以利用多种模态的信息来提高模型的性能和泛化能力。目前多模态模型两种路线并存，都得到了快速发展：开源路线百花齐放，技术架构尚未收敛；闭源路线大厂争夺激烈，以通用AI为伟大实现愿景。

GPT-4的横空出世引领多模态算法发展热潮。从异构及关联的多源数据中进行联合学习、建模及理解加工信息，被认为是走向通用人工智能（AGI）的候选路径之一，是推动人工智能更好了解和认知世界的关键。本文从多模态学习的关键特征、典型算法任务、最新模型等方面进行简要介绍与分享。

图像标注是用于CV监督机器学习的标志性技术之一。目前深度学习算法精度的提升严重依赖于数据的规模和质量，甚至决定了算法的上限。在此需求背景下，业界发布了诸多的图像标注工具，大公司的AI中台也集成了图像标注版块功能，也出现了以数据众包和数据标注众筹平台为主要业务的初创企业，图像标注软件和平台目前发展非常活跃，在未来也是必不可少的重要一环。下面笔者对一些常见的、有亮点的图像标注工具进行简要介绍，并对图像标注技术发展趋势进行展望。

MetaAI 推出了一个新模型 Segment Anything Model（SAM），号称实现“了解物体是什么的一般概念”，能够“一键从任意图像中剪切出任何物体”。SAM是以实例分割任务发起，构建了分割任务的基础模型，除了模型之外，它还针对图像分割任务提出了一种新型任务模式和大规模数据集。SAM一经推出，立刻引起业界的广泛关注，基于SAM基础视觉模型的衍生工作也活跃开展起来，取得了诸多惊艳的效果。与之前多模态、图像生成工作不同的是，SAM采用AI data centric的理念，以数据为中心，提出了新的数据飞轮+模型构建范式，正在开启CV领域新的探索方向，一些SAM衍生工作也快速展开，取得了惊艳的效果。