猫眼电影
猫眼电影记者 王金玉 报道Q8X2R7L1T4J5M9B6W3
克雷西 发自 凹非寺量子位 | 公众号 QbitAI
Meta的“分割一切”,这回给3D建模带来了新的范式——
现在,图像分割得到的切片,可以直接转换成3D模型了。
只要一张图,就能对里面的每个物体进行单独重建,有遮挡也不用怕。
这就是Meta MSL实验室刚刚发布的三维重建模型SAM 3D。
与此同时,MSL实验室之前投稿ICLR 2026的分割模型SAM 3,也终于露出了真容。
之前SAM 3就在一般图像分割的基础上增强了语义理解,论文一公布就备受关注。
现在又上新SAM 3D,许久不见出成果的Meta AI,总算是打出了一组王炸。
分割结果生成3D模型
SAM 3D家族包含两个新模型——SAM 3D Objects,用于物体和场景重建;以及SAM 3D Body,专注于人体,这两个模型均能够将静态2D图像转换为精细的3D重建模型。
SAM 3D Objects能够从单张自然图像中实现基于视觉的3D重建和物体姿态估计。
即使存在小物体、间接视角和遮挡现象等障碍,依然可以进行重建,弥补了仅凭像素不足以完成重建的不足。
SAM 3D Objects的性能显著优于现有方法,能够很好地泛化到多种类型的图像,并支持密集场景重建。
在与人类用户进行的直接对比测试中,其胜率至少达到其他领先模型的5倍。
类似地,SAM 3D Body在涉及不寻常姿态、图像部分被遮挡或多人等复杂情况下也依然能对人物进行建模。
相比其他人物重建模型,SAM 3D Body同样取得了SOTA成绩。
同时,Meta还与艺术家合作构建了SAM 3D艺术家物体数据集SA-3DAO,用于评估基于视觉的物理世界图像三维重建能力。
不只分割,还更懂语义
再来看SAM 3。
传统模型通常专注于使用固定的文本标签集进行对象分割,这限制了它们处理用户请求的能力,因为用户请求往往涉及分割预定义列表中不存在的概念。
这意味着现有模型可以分割像“人”这样常见的概念,但难以处理像“红色条纹伞”这样更细微的概念。
SAM 3则通过引入可提示概念分割功能克服了这些局限。
它能够查找并分割由文本或示例提示定义的概念的所有物体,消除了固定标签集的限制。
你可以直接通过文本指令,让SAM 3从图像中找到符合描述的物体。
也可以处理稍复杂的提升,例如输入“条纹猫”,SAM 3自己就能找出并分割图中所有带条纹的猫猫。
除了文本,还可以直接在图中选中某个物体,让SAM 3找到所有同类。
为了评估大词汇量检测和分割性能,Meta还创建了“基于概念的任意分割”(SA-Co)基准测试,用于图像和视频中的可提示概念分割。
与之前的基准测试相比,SA-Co要求模型识别更大的概念词汇量。
实验结果表明,SAM 3在可提示分割任务中刷新了SOTA。
在LVIS数据集的零样本分割任务中,SAM 3的准确率达到了47.0,比此前的SOTA 38.5提升不少。
在新的SA-Co基准测试中,SAM 3的表现至少比基线方法强2倍。
另外,在针对视频的PVS(Promptable Visual Segmentation)任务中,SAM 3的性能也优于SAM 2。
SAM如何实现?
SAM 3的核心架构建立在一个共享的Perception Encoder视觉骨干网络之上。
该骨干网络同时服务于检测器和追踪器两个模块,确保了图像特征提取的一致性与高效性。
其检测器部分基于DETR架构进行了改进,引入了包含文本提示和图像示例的提示Token。
这些Token与图像特征在融合编码器中通过交叉注意力机制进行交互,随后输入到解码器中生成对象查询。
为了解决开放词汇检测中常见的幻觉问题(即模型在目标不存在时仍强制预测出物体),SAM 3创新性地设计了一个Presence Head来解耦识别与定位任务。
该模块引入了一个可学习的全局存在Token,专门负责预测目标概念在当前图像中出现的概率,而原本的对象查询则专注于在假设目标存在的前提下计算局部匹配概率,最终的置信度得分为两者的乘积。
在视频处理方面,SAM 3继承并扩展了SAM 2的记忆机制,即通过追踪器利用记忆库存储过去帧的空间特征,将上一帧的掩码传播到当前帧。
为了处理新出现的物体,系统使用一种匹配函数,基于IoU等指标将追踪器预测的掩码与检测器在当前帧新发现的对象进行关联和更新,从而实现跨帧的身份保持与新目标的自动捕获。
SAM 3D Objects的核心则是通过两阶段的生成模型来实现几何与纹理的逐步构建。
首先,系统使用DINOv2编码器分别提取裁剪后的物体特征和全图上下文特征作为条件输入。
第一阶段的几何模型采用了一个参数量达12亿的流匹配Transformer,并结合了Mixture-of-Transformers(MoT)架构,主要用于预测物体的粗糙体素形状以及其在相机坐标系下的旋转、平移和缩放等6D布局参数。
当粗糙的几何结构确定后,第二阶段的纹理与精细化模型接手工作。
该模型基于稀疏潜在流匹配架构,仅从第一阶段预测的粗糙形状中提取活跃体素进行处理。
这种稀疏化处理极大地提高了计算效率,它可以细化几何细节并合成高保真的物体纹理,最终通过一对VAE解码器将潜在表示解码为网格(Mesh)或3D高斯溅射以适应不同的渲染需求。
为了支撑这一生成过程,Meta构建了一个独特的model-in-the-loop(MITL)数据引擎。
由于人类难以直接标注3D形状,该引擎让模型生成多个3D候选结果,利用Best-of-N搜索策略由人类标注员从8个候选中选择最佳匹配项。
然后,基于点云参考对齐物体在场景中的位姿,从而低成本地获取了大规模且精准的图像-3D配对数据。
针对人体结构的SAM 3D Body模型,其核心在于摒弃了传统的Skinned Multi-Person Linear模型,转而采用Momentum Human Rig表示法。
这种表示法将骨骼姿态与身体形状参数显式解耦,避免了传统模型中骨肉粘连导致的调整失真问题。
在模型架构上,SAM 3D Body采用了一种可提示的编码器-解码器设计,支持输入二维关键点或掩码作为提示Token,与图像特征一起指导推理过程。
为了解决全身模型往往难以兼顾手部细节的痛点,SAM 3D Body设计了独特的双路解码器结构。
虽然身体和手部共享同一个图像编码器,但在解码阶段分流——
身体解码器利用全局特征和Momentum Human Rig Token预测全身的姿态、形状及相机参数;手部解码器则专门关注手部裁剪图像的特征,利用交叉注意力机制处理手部细节。
这种设计通过在Token层面融合全身与手部信息,使得模型既能通过身体解码器输出连贯的全身网格,又能利用手部解码器的输出来修正末端细节。
网友评价其精妙之处在于它并非凭空臆造几何图形,而是像人类一样,利用日常经验推断几何形状,这意味着混合场景理解从此普及开来,是真正意义上的基础模型具身化。
现在,成为开发者的最好时机已经来临了。
项目主页SAM 3:https://ai.meta.com/sam3SAM 3D:https://ai.meta.com/sam3dGitHubSAM 3:https://github.com/facebookresearch/sam3SAM 3D Objects:https://github.com/facebookresearch/sam-3d-objectsSAM 3D Body:https://github.com/facebookresearch/sam-3d-body论文地址SAM 3:https://ai.meta.com/research/publications/sam-3-segment-anything-with-concepts/SAM 3D Objects:https://ai.meta.com/research/publications/sam-3d-3dfy-anything-in-images/SAM 3D Body:https://ai.meta.com/research/publications/sam-3d-body-robust-full-body-human-mesh-recovery/
??时事1:爱博体育下载
??11月16日,多国驻华使节走进中国商飞 排队体验中国大飞机驾驶舱,
最后一人想逃,冲向远方,小不点手中赤羽一闪,一根神翎冲起,化成十几丈长,噗的一声,当即让那人的一条腿化成了劫灰,栽落下来。
,澳门普金威尼斯网。??11月16日,迎世界读书日 北京将开展772场阅读活动,
就是以瞳术著称的三眼族两兄弟亦心惊肉跳,不敢与其对视,因为那头金色生灵的瞳孔如金色的漩涡般,吞噬人的灵魂。
?第一百四十六章,365游戏官网,立博官网中文版,世界杯比分投注量。??时事2:ob捕鱼网
??11月16日,《王者荣耀》官宣DAU超一亿,数字IP线下助益文化消费新模式,
第一,在教师队伍中大力弘扬为人师表、教书育人、敬业爱生的良好风尚。第二,抓好教师的专业发展。结合学校实际,完善、修订教师培养计划、学习制度,开展各类活动,完善落实监督、检查、评比、考核等机制,构建教师培养培训体系,全力提高教师思想政治素质和业务能力。第三、坚持以人为本的管理理念,全面关心教职员工的工作、生活、身心健康和发展,努力优化工作环境,改善工作条件,使学校成为师生的精神家园和事业乐园。
,188bet金宝搏网址,嘉年华捕鱼,MG电子在哪玩。??11月16日,外交部:对于韩国内政不予评论,
4、进一步加强村级班子的合力。
,澳门各大娱乐网站,365体育比分网站,二八杠压庄公式赢钱法。??时事3:澳门金龙游戏
??11月16日,思想者 | 陈宪:建设现代化产业体系,创新生态和产业生态何以重要?,
随着互联网金融的快速发展,白条分分卡成为了越来越多人的消费方式。然而,有时候我们可能会因为各种原因导致白条分分卡逾期,那么逾期了该怎么办呢?本文将围绕这个问题展开讨论。
一、白条分分卡逾期了怎么办
1. 及时与服务商沟通:一旦发现自己无法按时还款,应该第一时间与白条分分卡的服务商进行沟通,说明情况并寻求解决方案。有些服务商可能会提供逾期还款的延期或分期付款等方式,帮助个人解决短期的资金压力。
2. 制定还款计划:如果个人无法一次性还清欠款,可以制定一个合理的还款计划,按照计划逐步偿还欠款。这样不仅可以减轻个人的经济压力,还能够展现个人的还款意愿和能力,对个人信用的恢复有一定的帮助。
3. 注意个人消费习惯:逾期还款的根本原因是个人的消费超出了自己的承受能力。因此,个人应该审视自己的消费习惯,合理规划自己的消费,避免再次陷入逾期还款的困境。
二、白条分分卡逾期了上不上个人信用
白条分分卡逾期是会对个人信用产生影响的。
白条分分卡作为一种信用消费工具,逾期还款会被记录在个人信用报告中,这将对个人信用评级产生负面影响。一旦个人信用评级下降,将会对个人的贷款、信用卡申请等方面产生不利影响。
然而,即使白条分分卡逾期了,也并非一定会上个人信用。这取决于逾期的情况和处理方式。如果逾期时间较短,金额较小,并且及时与白条分分卡的服务商进行沟通并还清欠款,那么对个人信用的影响可能会较小。但是,如果逾期时间较长,金额较大,并且没有积极主动地与服务商进行沟通和还款,那么对个人信用的影响将会更加严重。
三、白条分分卡逾期了还能借款吗
白条分分卡逾期会对个人的借款能力产生一定的影响。
一方面,逾期记录会被其他金融机构看到,这可能会导致其他机构对个人的借款申请产生疑虑,降低个人的借款通过率。另一方面,逾期还款也会降低个人的信用评级,从而影响到借款的额度和利率。
然而,即使白条分分卡逾期了,也并非一定不能再借款。如果逾期记录较少,金额较小,并且个人的其他信用记录良好,那么其他金融机构可能会对个人的借款申请持开放态度。此外,如果个人能够积极主动地与服务商沟通,解释逾期的原因,并且及时还清欠款,那么也有可能减轻其他金融机构对个人的疑虑。
?保护环境我们在行动国旗下讲话(精选30篇),w66利来官网app下载,2004年欧洲杯在哪里举行,大发体育足球。??11月16日,台风“潭美”在菲律宾致死人数升至90人 逾578万人受灾,
“小兄弟话不能这样说,东西已经在我们手里,你已经同意了。”对面的人笑道,一副你能奈我何的样子。
,明发,在哪个网站看世界杯,世界杯去哪里投注。??时事4:银河ios下载
??11月16日,浙江安吉获联合国“生物多样性魅力城市”称号,
众人心惊,震撼无比,觉得亲眼见证了一位奇才的崛起。
,18新利在线官网登录,百老汇娱乐登录网址,澳博网址。??11月16日,鲁台经贸合作成果丰硕 山东实际使用台资306.83亿美元,
第一,文明守纪,成为有高雅气质的人。希望每一个同学都能严格遵守校纪校规,严格遵守教育教学秩序,养成讲文明,懂礼貌,守纪律,讲卫生的的良好习惯。对照学校的要求,我们绝大多数的同学在教师的教育下,在自己的努力下,都取得了很大的进步,可是我们发现还有一小部分同学还有差距。还有一些同学上课不专心听讲,影响教学秩序,还有一些同学随便乱扔纸屑影响校园环境,还有一些同学举止粗俗,不讲文明。老师希望这些同学能经常对照《小学生日常行为规范》的要求,不断自我反省,自我纠错,自我矫正,重视品德修养和良好行为习惯的养成,文明守纪,做一个有高雅气质的人。
,澳门永利官网注册,利来国际最老牌的游戏,fg游戏注册。责编:武吉巴
审核:崔教主
责编:柯老大












