2025-09-21 08:24:59 9,382次浏览

衡宇 发自 凹非寺量子位 | 公众号 QbitAI

刚刚，Meta FAIR推出了代码世界模型！

CWM（Code World Model），一个参数量为32B、上下文大小达131k token的密集语言模型，专为代码生成和推理打造的研究模型

这是全球首个将世界模型系统性引入代码生成的语言模型。

与现有代码大模型相比，CWM最与众不同的一点在于，它不仅能生成代码、理解语义。

更关键的是，它“懂得”代码如何执行，能模拟代码运行过程中变量的状态变化与环境反馈，从而推动代码理解、调试乃至规划的整体能力提升。

也就是说，它具备接近人类程序员的思考能力。

在多个代码与推理任务上，CWM均有出色表现，譬如其在SWE-bench Verified得分65.8%，领先所有开源同规模模型，已接近GPT-4级别。

更重要的是，Meta FAIR这次开源了模型代码、训练细节以及多个阶段的权重检查点，诚意十足。

有人给LeCun留言问：

“你不是一直认为语言模型只是AI道路上的一个支线（LLMs are an off ramp），怎么又推出了以语言模型为基础的世界模型？”

LeCun轻松回复称：

是的，不过咱现在讲的是编程，不是ASI哟～让大模型“懂动态执行”

CWM的诞生，直击当前大模型在代码生成中的一大痛点：

尽管现有大模型已经具备写代码的能力，但代码执行效果并不稳定，生成内容难以调试、不可执行，甚至存在隐藏逻辑错误。

FAIR团队认为，其根源在于大模型只是把代码当作文本来预测。

它不理解代码会如何运行，对变量状态的变化、函数调用的副作用一知半解（甚至一无所知）。

在FAIR团队看来：

如果希望模型像程序员一样思考，就必须教会它代码执行的“世界状态”变化。

因此，CWM首次在训练过程中引入代码世界建模（code world modeling）的概念，明确让模型学习“代码运行过程中，程序状态如何一步步演变”。

这意味着，CWM的理解维度，从静态文本跃迁到了动态执行。

Meta FAIR专攻AI与代码生成的资深研究科学家，也是CWM的资深核心贡献者Gabriel Synnaeve在上分享了CWM追踪执行计算”strawberry”中”r”个数的代码的例子：

你可以把它想象成一个可以设置为任何初始帧状态的神经‘pdb’，推理可以作为工具在标记空间中查询。

相较于传统代码大模型生成token接token的静态预测，CWM在三大能力有所升级——

第一，代码执行模拟。

CWM可以逐行模拟代码执行过程，预测每一行代码如何影响变量状态，甚至提前判断出执行中的潜在错误。

这种能力为构建“神经调试器”提供了可能。

在CWM的推理过程中，变量状态可以随代码运行不断更新。

它甚至可以模拟终止条件、循环展开、边界情况，从而更精准地理解程序逻辑。

第二，自我调试与修复。

不止会写代码，CWM还能自测、修错。

它能够在生成代码后自动构造测试用例，并在发现代码失败后用多种修改路径来尝试自我修复。

整个流程模拟了人类程序员常见的开发闭环：写→测试→改→再测。

第三，推理与规划能力。

面对复杂问题时，CWM还能进行推理与规划。

例如，在编程竞赛或数学任务中，它可以根据问题描述分析步骤、规划函数结构，再结合执行预测逐步生成并验证代码，展现出多轮逻辑推理能力。

CWM模型信息：参数、架构、性能一次看全

CWM的模型架构采用了64层的decoder-only Transformer，参数规模为32B。

它支持131k tokens的长上下文输入——这大幅拓展了复杂项目、多文件代码、文档上下文的处理能力。

相对应的，Attention结构采用了局部+全局交替机制，兼顾效率与上下文覆盖。

FAIR提供了以下3个checkpoints，供研究人员使用：

CWM预训练模型：例如用于新的后训练方法。CWM SFT：例如用于强化学习研究。CWM：例如用于推理时间扩展。

在与多个一线模型的评测对比上，CWM成绩如下：

SWE-bench Verified得分65.8%，领先所有开源同规模模型，接近GPT-4级别；LiveCodeBench v5得分68.6%，展示高复杂度编程任务上的准确性；Math-500得分96.6%，AIME 2024模拟题达76.0%；Terminal-Bench得分26.3%，高于Gemini 2.5 Pro；Aider Polyglot（多语言代码生成）得分35.1%，与Qwen3-32B相近。

综合来看，CWM在理解、生成、验证、修复等多个环节上，都有不俗表现。

FAIR团队称CWM验证了“代码世界建模”对提升推理与代码生成的价值。

Gabriel Synnaeve表示：

我对我的CodeGen团队所做的工作感到无比自豪！这个团队由博士生和经验丰富的资深员工组成。我们所有人都齐心协力，全力以赴，绝不将任何问题归咎于他人。整个Meta AI社区都为此共同努力。非常感谢整个领导层始终如一的支持。

三阶段训练流程，与数据集构建

CWM分三阶段进行训练——

第一阶段，预训练阶段（Pretrain）。

在这个阶段，CWM使用了8T tokens的数据进行通用语言与代码建模训练。

其中代码占比约30%，上下文长度为8k token。

第二阶段，中期训练阶段（Mid-train），这也是CWM最具特色的一步。

在这个阶段，模型引入了5T tokens的世界建模数据，用于训练模型识别“代码运行过程中，程序状态如何变化”。

这部分核心数据类型包括：

Python执行轨迹数据来自数千万函数调用与代码提交，记录每一行代码执行时变量的值如何变化；ForagerAgent数据模型驱动的智能体在真实Docker环境中运行代码，修复Bug，执行任务，生成真实交互轨迹（共300万条）；自然语言描述版本将执行过程转化为自然语言，便于泛化迁移。

也是在这一阶段，CWM的上下文能力扩展到了131k token，支撑对大型项目和代码流程的完整建模。

第三阶段，后训练阶段（SFT+多任务RL）。

最后，CWM进行了100B tokens的监督微调训练（SFT）和172B tokens的多任务强化学习（RL）训练。

训练任务覆盖了真实软件工程任务（如SWE-bench）、编程竞赛问题（CodeContests等）、数学推理题目（如AIME模拟题、MathQA）。

在这一阶段，FAIR团队使用异步RL机制、分布式环境以及自举方法，提升了模型在多环境、多任务间的泛化能力。

基础设施方面，CWM训练使用了FlashAttention-3、FSDP+TP并行策略，并采用fp8低精度加速。

Meta FAIR强调其训练过程遵循了Frontier AI Framework中的前沿AI安全框架。

结果表明，CWM不会对网络安全、化学、生物等高敏感领域构成滥用风险。

此外需要注意的一点是，当前CWM的世界建模数据仅支持Python语言，尚未覆盖C++、Java等主流语言或符号执行任务。

不过，研究团队表示未来将探索多语言扩展，有望形成自动化编程助手的通用框架。

Two More Things

BTW，如果你想使用使用CWM，有两点需要特别注意：

第一点，CWM主要面向代码理解与复杂推理研究，没有做RLHF。

因此，它并不适合对话任务或作为Chatbot使用。

第二点，CWM明确定位是“研究用”，即仅供非商业研究使用。

Anyway，总之，CWM团队选择了模型开源、数据透明、训练复现全开放。借此也向研究社区抛出一个重要问题：

如果大模型能理解世界，它能成为更好的程序员吗？

海贼王女帝强❌乳喷自慰爽 科技频道 679(4人关)注_新万博体育

新万博体育

图片 LeCun团队开源首个代码世界模型：能生成代码还能自测自修
首页 > > 花两三万元就能进机场当安检员？
LeCun团队开源首个代码世界模型：能生成代码还能自测自修

LeCun团队开源首个代码世界模型：能生成代码还能自测自修

「统计」P6F3X2M7T9QJ8L1B4WZR

2.11MB
版本V3.8.29
下载APK 高速下载
下载奇优影视剧旧版安装你想要的应用 更方便 更快捷 发现新万博体育：
喜欢 90%好评(88891人)
评论 93
LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图0 LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图1 LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图2 LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图3 LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图4
详细信息
  • 软件大小: 94965.51003MB
  • 最后更新: 2025-09-21 08:24:59
  • 最新版本: V7.27139.5
  • 文件格式: apk
  • 应用分类:ios-Android 免费看裸体网水动漫
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 1.27370以上
应用介绍
一，中野三玖裸体被❌羞羞动漫，巴西性❌❌❌❌狂欢
二，九寸长大巨龙小说全文免费阅读，男的🐔🐔放到🍑里视频抖淫
三，成人黄漫画网站❌免费涩漫下载，18禁裸乳无遮挡自慰免费网站
四，医生好紧宝贝别夹H乱h视频，精品美女在线视频
五，B市艺术学校周璐任梦，星野裸体全身照无码写真
六，雏田和鸣人探讨生物,共享娇妻刘晓莉，波波浏览器色😍下载
七，国产chase男男GayGay180网站
【联系我们】
客服热线：134-2881-646
加载新万博体育：
版本更新
V7.5.59
美女的洗澡㊙️免费视频
  • 把🍌伸进女人🍑www第一次

    甘雨被扒开腿坐做❌同人动漫

    镜流在我胯下娇喘

    47735.77MB
    103好评

    亚洲麻豆国产自偷在线

  • 无尽❌裸体❌触手❌

    女性裸体㊙️不遮胸平台

    魅魔扒开㊙️让男人桶爽动漫

    71772.18MB
    480655好评

    香蕉视频一时一时爽www

  • 扒开学生双腿猛进入喷水小说

    海贼王白星和路飞插图

    纲手被爆❌乳喷自慰爽动漫

    13.48MB
    314好评

    孕妇分娩无码网站入口

  • 不知火舞被❌吸乳羞羞视频

    地下偶像1-8集全免费观看

    69蝴蝶交友俱乐部视频

    53.27MB
    278好评

    日本动漫Av无码中文字幕

  • 女仆裸体㊙️无遮挡屁股

    护士被涂洒油扒开腿❌

    惩罚往屁股里夹20根棉签动漫

    71.67MB
    702好评

    雏田❌喷水自慰无尽动漫

  • 张柏芝大荫蒂毛茸茸

    韩国vip19➕福利网站

    91丨国产丨白丝❤️

    83.49MB
    336好评

    XXXXⅤdioex69

  • 关晓彤裸体露双奶头被C

    赫敏被骗脱去衣服玩到高潮

    汤不热vlog破解版免费版

    23.44MB
    101好评

    慢脚文化高清在线观看免费版app

  • 小南劈开腿让鸣人❌图片

    车上扒开内裤进入内内的软件

    调教妺妺成奶奴1～17

    50.52MB
    921好评

    ♿黑料䋞6yp.㏄♿⛔⛔

  • 179902钢手

    雏田被鸣人❌❌黄 3d

    老师白丝袜里面都是我的精子

    83.96MB
    563好评

    ai宋雨琦❌❌喷水好爽

  • 监控人❌18禁同人图

    穼祖英一级A片

    小南被鸣人骗到房间里生孩子的

    83.68MB
    754好评

    成人做爰黄A片免费看直播室

  • 惩罚夹震蛋微博车

    碧蓝航线18Xsteamworkshop

    性国产X❌x辛普森同人

    62.70MB
    3353好评

    伸进胸罩～嗯～好舒服～视频糖心

  • 中国少妇⭕⭕⭕⭕美国

    双腿被绑成m型调教play道具

    精品无人区码一码二码三码区别在

    63.58MB
    811好评

    诺艾尔・希尔巴

  • 啊用力嗯〜轻一点原神宵宫

    久久久久精品亚洲AV梦乃

    Kendalljenner裸乳英文网站

    65.12MB
    744好评

    在姨母家的客厅在线观看电影

  • 小受受脱裤子乖乖被🍃

    柳岩被❌无码网站视频

    美女露出大雷❌❌❌视频

    54.57MB
    755好评

    成人免费精品软件

  • 一摸下添下一摸下句怎么接

    48手没有马赛克

    jk漫画成人🔞在线观看喷潮

    57.16MB
    687好评

    夜色6699tv直播

  • 女被❌c🐻黄扒衣服免费

    疯狂❌自慰爽www看片女同

    原神同人18+❌黄漫

    24.95MB
    355好评

    宋轶AI裸体❌❌喷水

  • 高清码🔞❌♋免费蓝莓视频

    欧美接受❌❌❌高潮手拳

    嗯～啊～快点死我男男91

    13.92MB
    314好评

    安吉拉怀特满天星观看

  • 国产❌❌❌❌HDvideo网站

    yeonwoo写真集资源配置推荐

    女主被扒开腿狂❌

    84.37MB
    217好评

    欧美黄色A片

  • 蝴蝶忍被❌到失禁羞羞

    扒掉小男生裤子玩jiji作文

    国产AV㊙️无码大胆艺术照片

    45.80MB
    732好评

    小樱让鸣人吃大雷怎么办

  • 扒开美女❌狂揉❌樱花岛视频

    60岁老熟女叫床高潮了

    美女脱内衣露㊙️部位

    10.18MB
    183好评

    男人㊙️桶进美女尿囗大胸照片

  • 樱岛麻衣被❌爽到爆衣漫画

    白丝自慰喷水狂流白浆

    taipeinana安慰儿子

    44.88MB
    369好评

    好爽要高潮了再深点男男视频

  • 欧美XX❌⭕️❌⭕️老师

    公主连结18禁本子

    邪恶绅士☆堕落媚肉全彩AV

    91.21MB
    206好评

    雏田爆乳❌🔞🈲

  • 12学生裸体不打码

    国产精品㊙️麻豆免费版乌克兰

    教室里被老师揉到高潮视频

    30.84MB
    906好评

    布洛妮娅被下药强摸双乳

  • 杨幂又大又粗又紧又爽

    国产馆❌❌❌精品丝

    女人全身裸体㊙️无遮挡

    30.42MB
    542好评

    扒开❌狂揉❌喷水直播

  • 少妇婬荡呻吟久久久久久

    性调教光屁股女人视频在线播放

    猎奇 重口 虐杀 血腥 肢解

    29.34MB
    129好评

    娜可露露撅着屁股求调教

  • секс高清ведо出水

    无尽❌大胸❌触手樱花

    裸体裸乳被🍑韩国无码

    70.25MB
    454好评

    韩国无删减H漫画私密

  • 少归被❌到爽🔞流网站巨胸爆乳❌❌❌动漫视频 title="男人扒开内👙和女人舌吻" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    香港眼镜绳艺师

    贪色夫人2之台湾版电视剧

    详情
  • 小舞被❌吸乳羞羞漫画软件体育生白色袜子自慰网站 title="砂狼白子屈辱打开双腿自慰" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    小医仙3D❌出白浆视频

    又粗又黄A片老师黄黄软件

    详情
  • 亚洲精品无码成人片在线观看毒液米塔同人本在哪里看 title="美国斯嘉丽约翰逊裸体软件大全" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    公钟向钟离里面放跳d

    XXXXXXX🍆🍑免费

    详情

星铁道阮梅被❌吸乳脱内内 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 女仆教育动漫第一季在线观看 9天前
    91在线无码精品㊙️黑桃
  • 斯宾塞禁区内抽射热刺领先 5天前
    ❤国产精品嫩草影院AⅤ直男
  • 亚洲AV无码无在线观看含羞草 5天前
    全程露脸63老太
  • 业余半老成熟自由性别业余的定义 4天前
    春丽被爆❌羞羞漫画
  • 🈲️🔞黄网站3d甘雨 9天前
    撩裙子撒尿㊙️视频网站
  • GaYGAYS✅免费自慰 3天前
    成人🔞色情男男Gay做受
  • 我扒妺妺内裤扒下光屁股 8天前
    男人猛躁女人㊙️91网站
  • 在厨房被c到高潮啊奶水漫画 1天前
    揉我奶头啊cao寡妇
  • 男生男生里片 3天前
    尘白禁区美女爆乳视频
  • 国产精品无码亚洲色欲都市言情 4天前
    面具公社在线网页登录入口
豆花视频成人版网站入口
啊轻点灬大巴太粗太长了视频 -安卓手机网上最贴心的Android软件应用平台! 版权所有：牡丹生活 当前域名www.zuonidemaoseo.com 蜀ICP备2023036221号-2