猫眼电影
猫眼电影记者 王寿青 报道Q8X2R7L1T4J5M9B6W3
本文第一作者为四川大学博士研究生刘泓麟,邮箱为tristanliuhl@gmail.com,通讯作者为四川大学李云帆博士后与四川大学彭玺教授。
一张图片包含的信息是多维的。例如下面的图 1,我们至少可以得到三个层面的信息:主体是大象,数量有两头,环境是热带稀树草原(savanna)。然而,如果由传统的表征学习方法来处理这张图片,比方说就将其送入一个在 ImageNet 上训练好的 ResNet 或者 Vision Transformer,往往得到的表征只会体现其主体信息,也就是会简单地将该图片归为大象这一类别。这显然是不合理的。
图 1:传统表征学习(上)与条件表征学习(下)的比较。传统的表征学习方法只能学习到一种通用的表征,忽略了其他有意义的信息;文章提出的条件表征学习能够基于指定准则,得到该准则下表现力更强的条件表征,适应多种下游任务。
此外,在各大电商平台,用户通常根据不同的标准(例如颜色、材质或场合)搜索商品。例如,用户今天可能搜索 “红色连衣裙”,明天搜索 “正装”,后天搜索某个全新的关键词。这对于拥有庞大规模商品的平台来说,手动打标签是不现实的,而传统的表征学习也仅仅只能获取到 “连衣裙” 这个层面的信息。
要获取图片中除了 “大象”、“连衣裙” 之外的信息,一个很容易想到的方法就是进行针对性的有监督训练:基于不同的准则比如环境,进行额外的标注,再从头训练或者基于已有表征训练一个额外的线性层。但是基于这种方式,显然是 “治标不治本” 的。因为一旦有了新的需求,便又需要进行针对性的数据收集、标注和训练,需要付出大量的时间和人力成本。
很幸运的,我们处在多模态大模型的时代,这个在以前可能会很困难的问题在今天是有很多解法的。我们可以直接通过询问 LLaVA,它便会告诉我们图片在指定准则下的信息。但这种方式也还不够高效,至少在 2025 年的今天,多模态大模型的使用成本还是需要考虑的。如果需要处理 ImageNet 之类的大规模数据集或者电商平台繁杂的商品,得到其在指定准则下的信息,这个开销就比较大了。所以对大多数人来说,现如今要获取图片的多维信息,还是需要找到一个更加高效的方法。
论文标题:Conditional Representation Learning for Customized Tasks论文链接:https://arxiv.org/abs/2510.04564代码链接:https://github.com/XLearning-SCU/2025-NeurIPS-CRL
方法
我们知道,对于三维直角坐标系,一组基,比如 [(1, 0, 0), (0, 1, 0), (0, 0, 1)],其线性组合即可构建出该坐标系中的任何向量。类似的,对于颜色体系,只需要 “红”、“绿”、“蓝” 三原色即可调出所有的颜色。
受此启发,我们想到,是否对于任意一个给定的准则,也存在着一个对应的 “概念空间” 及其基?如果能在这个空间中找到一组基,那么我们只需要将原始表征投影到该空间上,理论上就能获得在该准则下更具表现力和判别性的特征。
找到给定准则对应的基,这听起来有些困难。但没关系,我们不需要很准确地找到,只需要接近它就好。
基于这个想法,论文提出了一种即插即用的条件表征学习方法。如图 2 所示,给定准则(例如 “颜色”),CRL 首先让大语言模型 LLM 生成该准则相关的描述文本(例如 “红色”,“蓝色” 和 “绿色” 等)。随后,CRL 将由 VLM 得到的通用图片表征,投影到由描述文本张成的空间中,得到该准则下的条件表征。该表征在指定的准则下表达更充分,并且具有更优的可解释性,能有效适应下游定制化任务。
图 2:所提出的条件表征学习(CRL)的总体框架。图中以通用表征空间(准则为隐式的 “形状”)转换到 “颜色” 准则空间为例。
直白地说,只需要将对齐的图片和文本表征,做个矩阵乘法就好了,甚至不需要训练。复现难度约等于:
实验
分类和检索任务是衡量表征学习性能的两个经典下游任务。论文在两个分类任务(少样本分类、聚类)和两个检索任务(相似度检索、服装检索)上进行了充分的实验验证,部分实验结果如下:
图 3:分类任务
表 1:所提出的 CRL 在少样本分类任务上的性能。
表 2:所提出的 CRL 在聚类任务上的性能。
图 4:相似度检索任务。上为 “Focus on an object”(Focus),下为 “Change an Object”(Change)。
表 3:所提出的 CRL 在相似度检索任务上的性能。
图 5:服装检索任务。
表 4:所提出的 CRL 在服装检索任务上的性能。
从上述结果中可以看出, CRL 可以作为一个即插即用的模块,与现有多模态方法相结合,在不同准则下,其得到的条件表征在下游任务中都取得了比原表征更加优异的表现,性能甚至超过了对应领域的专用方法。新万博体育:实验可参见论文。
总结
与传统的表征学习只得到单一的通用表征不同,本文提出了条件表征学习,通过获取指定准则下的文本基,并将图像表征投影到该文本基张成的空间中,即可得到该准则下表现力更强的条件表征,以更好地适应各种下游任务。
??时事1:雷竞技在线
??10月16日,满意的理发师离职了 卡能退吗?,
4、突出学生的主体地位,加强班团干部队伍建设,努力提高学生的自我教育能力,自我管理能力,自我约束能力和对自己负责的能力,减轻班主任的管理压力。
,日博体育在线app下载。??10月16日,四大洲顶尖龙舟队竞渡湖南汨罗江,
毕业班 篇6
,pg电子模拟器在线试玩,365bet体育在线网址,优博在线注册。??时事2:真钱赌场游戏
??10月16日,江苏连云港扩大东西双向开放 全力建设“一带一路”强支点,
沉思良久,高大威猛、瞳孔快化成了淡金色的老族长点头,眸中射出两道金色的闪电,道:“出了这么强大的一头祭灵,我无论如何也应该去看一看。为了稳妥起见,我去请神狼,让它也跟着走上一趟。”
,百老汇体育官方平台,赢博平台怎么样,ku游官网。??10月16日,中国西藏第五届跨喜马拉雅国际公路自行车极限赛第二赛段在拉萨开赛,
他大受触动,像是悟了一些,知道该如何进行了。
,赢钱一经,世界杯国外赌球网站,澳门永利最新备用网址。??时事3:雷速体育闪退什么情况
??10月16日,澜湄合作2023年度十大新闻发布,
二、总结工作,肯定成绩,增强加快发展跨越发展的信心与决心
,bet体育在线登陆,顶盛体育靠谱,万博官网下载苹果。??10月16日,改善经营主体预期 增强发展内生动力(评论员观察),
现在不是清算的时候,石村人不理会他们,急速逃遁,避免发生意外。
,赌博手游下载,澳门购物巴黎人官网,必博体育官网平台app。??时事4:乐动体育体育
??10月16日,天津海关退运483吨液态洋垃圾,
汽车在马路上不停地奔跑,不停的排放废气。这对地球有极大的污染。面临这些污染,我们能够少开汽车出门,多骑自行车。这样还能够锻炼身体也可减少对地球有害的物质。
,亚娱网投平台,雷速体育下载官网,美高梅网投平台。??10月16日,老艺术家绝版书画在上海龙华古寺慈善义拍,
一群孩子如兽群般,嗷嗷叫着,飞快冲向石崖。到了近前后他们分工有序,一部分人站在巨石上,注视天空,站岗瞭望,以防那只凶禽突然出现,另有几个人则准备攀上石崖。
,十大菠菜,日博体育注册app,ag真人手机端网址。责编:巴夏里
审核:李兆基
责编:尹恩惠












