根据 Meta 介绍,SAM 3D 是 Segment Anything Collection 的最新成员,专门面向单张 2D 图像的三维理解。SAM 3D 包含两个模型:SAM 3D Objects 用于物体与场景的三维重建,可将静态图片中的家具、建筑、日常物体还原为可旋转、可查看细节的三维模型;SAM 3D Body 则负责人体三维姿态与形状估计,从单张照片推断人体的骨骼姿态和体型,并在遮挡、极端姿势和复杂视角下保持稳定表现。Meta 表示,两者在公开基准上均达到或刷新当前水平,SAM 3D Objects 在多个 3D 重建任务上显著优于既有方法。
官方新闻稿还称,SAM 3D 已在 Segment Anything Playground 向公众开放在线体验,用户可上传图片查看 3D 重建效果。研究与开发者可获取模型检查点和推理代码,并使用 Meta 新推出的 3D 基准数据集进行评测;具体使用与许可条款需以 Meta 在 AI 博客及模型仓库中的说明为准。整体来看,用户提供的这段文案准确概括了 SAM 3D 的定位和两大子模型的核心功能,没有发现明显夸大或失真。
常见问题
Q:这段 “Introducing SAM 3D, the newest addition to the SAM collection…” 是真的吗?
A:是真的。相同文案出现在 Meta AI 官方 Threads、X、LinkedIn 等账号,并在 Meta Newsroom 的 SAM 3 / SAM 3D 新闻稿中得到印证,属于 Meta 官方对外发布。
Q:SAM 3D 具体包含哪些模型?
A:SAM 3D 由两个模型组成:SAM 3D Objects 负责物体和整体场景的 3D 重建,SAM 3D Body 负责人体三维姿态和形状估计,两者都可以从单张静态图像生成可视化的三维结果。
Q:SAM 3D 与早期的 Segment Anything 有什么不同?
A:早期 SAM 侧重“从图像中分割出物体像素”,主要是 2D 分割与跟踪;SAM 3D 在此基础上进一步完成三维几何重建,让模型不仅“圈出物体”,还能推断其在现实空间中的形状和姿态。
Q:SAM 3D Objects 和 SAM 3D Body 分别适合什么场景?
A:SAM 3D Objects 更适合做物体与室内场景重建,可用于 AR/VR 资产生成、虚拟摆放、机器人抓取等;SAM 3D Body 则针对人物姿态与体型,还可用于体育分析、动作捕捉、虚拟形象驱动和医学相关研究等。
Q:SAM 3D 是否已经开源?普通开发者怎么用?
A:Meta 在新闻稿中表示 SAM 3D 将提供模型检查点和推理代码,并配套新 3D 基准数据集;用户目前可以通过 Segment Anything Playground 直接在线体验,开发者则可关注 Meta AI 博客及相关模型仓库,按照其中的使用说明与许可条款进行集成。