新万博体育

　　猫眼电影记者 曹慧娟 报道Q8X2R7L1T4J5M9B6W3

VLA（Visual-Language-Action）大模型到底能跑多快？在这篇 RT-VLA（Real-time VLA）论文中，来自 Dexmal 原力灵机（由范浩强等人联合创立的具身智能公司）的研究者公布了一个反直觉的发现：它可以非常快！

具体而言，对于常用的 Pi0 级别的模型（30 亿参数），在单张消费级显卡 RTX 4090 上最快可以跑到 30fps。这和大家对于 VLA 模型动辄要几十甚至上百毫秒的刻板印象形成鲜明对比。

为实现这点，研究者深入分析 Pi0 的模型结构，通过一系列优化把用时从开始的 100+ ms 进行数倍缩减（针对双视角，甚至已经达到 27ms），显著强于 openpi 里采用的基于 jax 的自动优化的结果。

此外，研究者基于现有结果探讨了未来的“实时”运行的 VLA 结构，设计出一个有潜力最高实现 480Hz 闭环控制的算法框架。目前，优化后的代码已在 GitHub 开源，全部实现均打包为一个只依赖于 torch 和 triton 的单一文件，大家可在自己的项目里 “开箱即用”。这是Dexmal 原力灵机继开源一站式 VLA 工具箱 Dexbotic之后的又一开源代码工作。

论文名称：Running VLAs at Real-time Speed论文链接：https://arxiv.org/abs/2510.26742GitHub：https://github.com/Dexmal/realtime-vla

解决什么痛点？

现在机器人 VLA 大模型动辄几十亿参数，虽然有不错的泛化能力，但是延迟问题总是绕不过。即使是在高端推理显卡上，高达百毫秒级别的推理时间让机器人的实时控制困难重重，就像一个人看见东西后要愣一下才做出动作。

如果我们能够把模型运行到和相机一样快的频率（25fps、30fps 甚至 50fps），那么就可以在完全不丢帧的情况下处理视觉信息，让 VLA 模型的实时运行成为可能。

如何实现？

Pi0 模型计算流程图示，它主要包括 1 个视觉编码器，1 个编码器和 1 个解码器；所有这些又可进一步分解为一系列的矩阵乘法和标量运算。

对于 Transformer 这类模型，当它进行单次推理（比如只处理一个问题或一张图片）时，其内部计算过程实际上是由一长串零碎的 “矩阵计算小任务” 组成；而像 Pi0 这种采用 “流匹配” 技术的模型，需要反复迭代十次才能得出最终结果，每一次迭代本身就包含几十层计算。这样算下来，整个推理过程涉及数百层、上千个操作。任务如此零碎，让计算优化变得异常困难。

本文研究者通过深入分析模型推理过程中的计算问题，融合和并行优化每一个计算步骤，清除了推理方面的大部分障碍，再加上其他方面的优化，最终把整个 VLA 模型跑进了所需的时间之内。

这就像给了 VLA 大模型一份 “高性能 AI 大脑调校指南” ；它通过一系列深入的底层优化，把笨重的 AI 大模型变成能跑实时任务的 “闪电侠”，并在此基础上，构想出一个能同时具备条件反射、视觉反馈和智能思考的下一代机器人控制系统。

效果展示

上图所示的任务是抓取一支自由下落的笔。 这个任务对反应时间的要求极为苛刻。机器人观察到笔开始下落后，必须在极短的时间内做出反应并在正确的时间启动抓取动作，快一点或者慢一点都会导致任务失败。

最终呈现的效果是 从 “看到笔” 到 “执行抓取” 的端到端总反应时间被缩短到 200 毫秒以内，这大概对应到一个 30 cm 左右的最短下落距离。而人类在这个任务上的一般表现也不过如此。

下一步规划

基于上述取得的成果，研究者设计了一套完整的、围绕 GPU 打造的机器人控制框架，它能驱动 VLA 大模型，像 “直播” 一样对机器人进行流式的实时控制，让机器人拥有 3 种不同速度的 “反应神经”：

超快反应（480Hz）：处理来自力传感器等高速信号。就像你的手一碰到烫的东西会瞬间缩回，不需要经过大脑思考。这部分由模型的 “解码器” 负责，能每秒生成 480 次控制指令。视觉反应（30Hz）：处理来自摄像头的画面。就像你看着球飞过来，用眼睛跟踪并判断落点。这部分由模型的 “编码器” 负责。智能思考（<1Hz）：处理语言理解和任务规划。就像你在执行任务时，还能分心听一下队友的指令或者自己琢磨一下策略。这部分速度最慢，但赋予了机器人更高的智能。

通过分析与实验，这个框架下一步规划最高能以 480Hz 的频率生成机器人控制信号；这个速度，已经摸到了实现基于力反馈进行控制的门槛。

未来展望

机器人有没有可能达到 “又聪明又快” 的效果？这篇文章只是一个起点。针对未来不断增加中的边缘计算算力，研究者展望了更进一步的可能性：

“眼睛” 最快能有多快？从 30fps 到 60fps，甚至 120fps，是否有新万博体育：的任务变得可行？“大脑” 最大能有多大？在实时性约束下，我们是否可以从 3B 模型，走向 7B，13B 模型，甚至更大模型？“反应” 速度的极限在哪里？在 VLA 框架下，我们是否还可以建立亚毫秒、甚至微秒级的反馈回路？

从这篇文章出发，一个能够参与实时控制 VLA 的世界的大门正在被打开。

??时事1：188体育盘口在线

??10月28日,习语品读｜“种下的既是绿色树苗，也是祖国的美好未来”,

　　半数以上的人都已猜到小不点的身份，知道他有多么的凶残，因此在那些师兄师姐还没有回来的情况下就去一战，依旧是无惧。

,江南娱乐app官网下载。

??10月28日,广西多举措构筑中国南方生态屏障,

　　两个时辰后兽潮才散尽，没入外围区域的山林中，就此各自冲向了一方。而这仅是第一波兽潮而已。最弱的一批生灵被赶了出来，显然还会有第二波，这片大地将不得安宁。

,laohujiwangzhan,快3线上app,新2下载。

??时事2：体彩彩票下载官方网站

??10月28日,2024国考分数线出炉 国家公务员局将组织公开调剂,

　　我们大家要在各自的工作岗位上，干好自己的本职工作，在工作上真正树立安全第一的思想，克服种.种困难，吸取教训，遵章守纪、严格把关、搞好自控互控，从工作的每一分钟入手，从每个安全月入手，最终实现一个个安全百天、安全千天，实现我们的奋斗目标。安全的目标不是一个人、一天、一件事就能实现的，要我们长期的、大家齐心协力，才能把握住安全。我们们谁也不敢说会一辈子不出问题，但是我们应该有把握：低级的事故不出、可以防止的事故不出。我们要善于总结自身存在的问题，找出容易出问题的地方，竭尽全力的把事故堵在外边，尽量的提高自己防止事故的能力，延长自己的安全周期，取得更好的安全成绩，为我们合成工段添光彩!

,万博官网网页版首页登录入口,吉祥体育官网入口,世博体育软件官网。

??10月28日,2024年世界U23摔跤锦标赛 中国选手陆锋摘银,

　　当你背着书包上学时，看到过指示行人过马路的斑马线吗?当你走到路口，看到过为安全站岗的红绿灯吗?当你乘坐火车、汽车时，听到过“为了您的安全，请不要把头、手伸出窗外”的热情关照吗?在我记事时，就听爸爸妈妈说“干什么事，都要注意安全”;走进校门，老师也教我们要注意安全;识字以后，在工地、路口等危险的地方都看到过“请注意安全”、“安全第一”的牌子。安全真的那么重要吗?是的，它是我们生活中永恒的主题!

,宝博最新地址,168app链接,炸金花挣钱的游戏。

??时事3：亚博平台网址

??10月28日,前三季度陕西GDP同比增长4.6% 经济运行质效齐升,

　　我们要注意饮食安全，课间安全，交通安全，用电、用火安全，预防传染性疾病传播安全等。禁止在校园内_外出、吸烟、追逐嬉闹、禁止在楼道楼梯内停留、聚集、打闹，禁止起哄或搞恶作剧。今后，对于发生在校园内的以上违纪行为，学校将予以严惩，对于打架、斗殴、敲诈等恶性事件尤其是群殴事件学校将予以严厉打击，必要时我们将主要责任人移交司法部门追究其刑事责任。

,欧宝电竞,体育世界杯 官方网站,m6米乐官网入口。

??10月28日,江西南昌外贸“朋友圈”不断扩大 2023年进出口总值达1112.9亿元,

　　共有四头至强的生物在战斗，它们的恐怖层次超乎了想象，连恶魔猿、离火牛魔这样的强大遗种都在发抖，躲在远方，不敢动弹。

,欧宝app最新,网上牛牛,百苑国际。

??时事4：比分直播188体育新版

??10月28日,我国成功发射千帆极轨03组卫星,

　　“不！”他惊悚大叫，这要是进去，必死无疑啊，任他天大的本领也抵挡不住柳树的攻击。

,庄家补牌规则对照表,gt千炮捕鱼平台,mile米乐官网。

??10月28日,习近平同柬埔寨人民党主席、参议院主席洪森会谈,

　　天地间漆黑，大雨密布。几片巨大的云朵撞在一起，顿时爆发惊雷声，那闪电如金蛇在舞，贯通天上地下。

,凯时kb88手机版,大发888赌博,bet356亚洲版体育在线。