猫眼电影
猫眼电影记者 约—— 报道Q8X2R7L1T4J5M9B6W3
VLA(Visual-Language-Action)大模型到底能跑多快?在这篇 RT-VLA(Real-time VLA)论文中,来自 Dexmal 原力灵机(由范浩强等人联合创立的具身智能公司)的研究者公布了一个反直觉的发现:它可以非常快!
具体而言,对于常用的 Pi0 级别的模型(30 亿参数),在单张消费级显卡 RTX 4090 上最快可以跑到 30fps。这和大家对于 VLA 模型动辄要几十甚至上百毫秒的刻板印象形成鲜明对比。
为实现这点,研究者深入分析 Pi0 的模型结构,通过一系列优化把用时从开始的 100+ ms 进行数倍缩减(针对双视角,甚至已经达到 27ms),显著强于 openpi 里采用的基于 jax 的自动优化的结果。
此外,研究者基于现有结果探讨了未来的“实时”运行的 VLA 结构,设计出一个有潜力最高实现 480Hz 闭环控制的算法框架。目前,优化后的代码已在 GitHub 开源,全部实现均打包为一个只依赖于 torch 和 triton 的单一文件,大家可在自己的项目里 “开箱即用”。这是Dexmal 原力灵机继开源一站式 VLA 工具箱 Dexbotic之后的又一开源代码工作。
论文名称:Running VLAs at Real-time Speed论文链接:https://arxiv.org/abs/2510.26742GitHub:https://github.com/Dexmal/realtime-vla
解决什么痛点?
现在机器人 VLA 大模型动辄几十亿参数,虽然有不错的泛化能力,但是延迟问题总是绕不过。即使是在高端推理显卡上,高达百毫秒级别的推理时间让机器人的实时控制困难重重,就像一个人看见东西后要愣一下才做出动作。
如果我们能够把模型运行到和相机一样快的频率(25fps、30fps 甚至 50fps),那么就可以在完全不丢帧的情况下处理视觉信息,让 VLA 模型的实时运行成为可能。
如何实现?
Pi0 模型计算流程图示,它主要包括 1 个视觉编码器,1 个编码器和 1 个解码器;所有这些又可进一步分解为一系列的矩阵乘法和标量运算。
对于 Transformer 这类模型,当它进行单次推理(比如只处理一个问题或一张图片)时,其内部计算过程实际上是由一长串零碎的 “矩阵计算小任务” 组成;而像 Pi0 这种采用 “流匹配” 技术的模型,需要反复迭代十次才能得出最终结果,每一次迭代本身就包含几十层计算。这样算下来,整个推理过程涉及数百层、上千个操作。任务如此零碎,让计算优化变得异常困难。
本文研究者通过深入分析模型推理过程中的计算问题,融合和并行优化每一个计算步骤,清除了推理方面的大部分障碍,再加上其他方面的优化,最终把整个 VLA 模型跑进了所需的时间之内。
这就像给了 VLA 大模型一份 “高性能 AI 大脑调校指南” ;它通过一系列深入的底层优化,把笨重的 AI 大模型变成能跑实时任务的 “闪电侠”,并在此基础上,构想出一个能同时具备条件反射、视觉反馈和智能思考的下一代机器人控制系统。
效果展示
上图所示的任务是抓取一支自由下落的笔。 这个任务对反应时间的要求极为苛刻。机器人观察到笔开始下落后,必须在极短的时间内做出反应并在正确的时间启动抓取动作,快一点或者慢一点都会导致任务失败。
最终呈现的效果是 从 “看到笔” 到 “执行抓取” 的端到端总反应时间被缩短到 200 毫秒以内,这大概对应到一个 30 cm 左右的最短下落距离。而人类在这个任务上的一般表现也不过如此。
下一步规划
基于上述取得的成果,研究者设计了一套完整的、围绕 GPU 打造的机器人控制框架,它能驱动 VLA 大模型,像 “直播” 一样对机器人进行流式的实时控制,让机器人拥有 3 种不同速度的 “反应神经”:
超快反应(480Hz):处理来自力传感器等高速信号。就像你的手一碰到烫的东西会瞬间缩回,不需要经过大脑思考。这部分由模型的 “解码器” 负责,能每秒生成 480 次控制指令。视觉反应(30Hz):处理来自摄像头的画面。就像你看着球飞过来,用眼睛跟踪并判断落点。这部分由模型的 “编码器” 负责。智能思考(<1Hz):处理语言理解和任务规划。就像你在执行任务时,还能分心听一下队友的指令或者自己琢磨一下策略。这部分速度最慢,但赋予了机器人更高的智能。
通过分析与实验,这个框架下一步规划最高能以 480Hz 的频率生成机器人控制信号;这个速度,已经摸到了实现基于力反馈进行控制的门槛。
未来展望
机器人有没有可能达到 “又聪明又快” 的效果?这篇文章只是一个起点。针对未来不断增加中的边缘计算算力,研究者展望了更进一步的可能性:
“眼睛” 最快能有多快?从 30fps 到 60fps,甚至 120fps,是否有新万博体育:的任务变得可行?“大脑” 最大能有多大?在实时性约束下,我们是否可以从 3B 模型,走向 7B,13B 模型,甚至更大模型?“反应” 速度的极限在哪里?在 VLA 框架下,我们是否还可以建立亚毫秒、甚至微秒级的反馈回路?
从这篇文章出发,一个能够参与实时控制 VLA 的世界的大门正在被打开。
??时事1:365bet现场滚球
??10月30日,浙江乡村解锁“新技能”换假日高人气,
为扎实开展全民国家安全教育日活动,着力提升局直机关全体干部职工的国家安全意识,全面推动总体国家安全观和国家安全法的贯彻落实,4月10日下午,省粮食局举办了粮食大讲堂第七讲,邀请了有关专家为大家作国家安全主题讲座。党组书记、局长牛向阳,党组成员巡视员刘惠,党组成员、副局长许维彬,机关和直属单位干部职工约110人聆听了讲座。
,玖体育。??10月30日,【行藏西 看阿里】河北援藏:十年守护只为阿里妇幼健康,
“来这里!”一团柔和的绿光散发,前方出现焦黑的柳树,它扎根天地间,引领小不点前进。
,ballbet贝博app下载艾弗森,世界杯官方购票网站,leyu乐鱼开户。??时事2:美高梅国际平台
??10月30日,五块光荣牌 一家五代兵,
“天啊,不,这是什么凶兽,怎么会如此强大?”
,扎金花比牌,亚洲最大体育平台,盛大网络游戏。??10月30日,西安铁路局全力应对“五一”假期返程客流高峰,
他虽然取巧,顺势而为,但依旧显示出了狂暴的力量,让人不敢相信,这才是一个七八岁的孩子啊。
,米乐入口,在线世界杯赌球网站,欧宝苹果APP下载。??时事3:万博官网登录手机版本是多少
??10月30日,贵州检察机关依法对潘海决定逮捕, 携程网数据显示,与去年同期相比,今年前三个月前往中东旅行的预订量增长了三位数。今年6月,阿联酋旅游机构透露,去年阿联酋共接待了120万名中国游客,游客人数“预计今年将实现大幅增长”。全球咨询公司牛津经济研究院同样预测,中国出境游的复苏将由中东地区等目的地引领。,九州BET登录,ca88赌场,华体会登录手机版。
??10月30日,青海西宁去年空气质量优良率达94.8%,
五是重视培训,加强两个队伍建设。我县教育发展目前正处于一个瓶颈期,如果不能有效地突破这个瓶颈,未来几年我们现有的优势将丧失殆尽。这个瓶颈就是校长的专业化成长和教师专业化成长滞后,这对于教育来讲是一个必须严肃对待问题。学校发展的关键在校长,教育教学质量提升的核心在教师,不能很好地解决这两个问题,教育的内涵发展和跨越式发展无从谈起。今年工作设想:一要加强教研室建设,通过教研室的高效运转强化对教师和学校管理人员培训力度,提高业务水平;对全县的教育教学进行指导,开展评优课、示范课等系列活动;对全县教师开展科研引领行动,指导教师撰写教育论文或教学反思;对学科教学进行研究,负责全县考试命题工作;出版《索县教育》杂志,征集广大师生的作品公开发表,加强交流与沟通。二要组织部分校长、教师到内地挂职锻炼,感受什么是好的教学行为和管理方式。这方面教体局在大连教育局已经争取到29万元的资金。
,真钱赌城app平台,世界杯官方网站广告,在线试玩电子游戏平台。??时事4:188betapp链接
??10月30日,日本核燃料机构被曝长期伪造检查记录,
3、要促进当前工作。学习培训是手段,运用和指导实践才是目的。我们培训的目的就是把这些知识学懂弄通,更好地运用到实际工作中去。农村工作千头万绪,涉及面非常广,从事农村工作需要具备一定的知识和综合运用的能力。这就要求我们的村“两委”在学习这些知识时,要运用唯物辩证法系统的观点、普遍联系的观点,把握每一项政策、每一项工作的实质和精髓,统筹谋划,综合运用,做到融会贯通,以学习促进当前工作,为农村经济发展、农民增收、农村稳定服好务。
,欢乐围棋,澳门赌博新址,金沙3983www下载。??10月30日,美联储决定将联邦基金利率继续维持在5.25%至5.50%之间,
拳头大的毛球彻底复活了,浑身灰白的皮毛闪烁,重新化成了金色,一双呆滞无神的大眼也瞬间发光,古灵精怪,在小石昊的肩头上蹿下跳。
,华纳国际真人棋牌娱乐,万博安全买球,kokapp最新版。责编:夏明勤
审核:洪琴
责编:房某辉












