9月1号这期cs.CV板块,我照例是早上七点多刷开的。和过去每周一几乎一样的情形:一晚上新增了两百多篇,标题列表扫下来信息量极大。但和几个月前不太一样的是,今年暑期档的投稿质量和方向分布已经明显拉开差距——纯刷榜的工作在减少,真正想把某一件事做扎实的工作开始浮出水面。

这篇汇总不是单纯的论文列表,而是我在这周扫描完整期cs.CV之后,留下的方向观察、筛选方法、三篇精读拆解和一部分复现心得。适合正在跟进CV前沿的人、要开题或找研究方向的研究生、以及准备把论文方法落到工程里的算法工程师。如果你刚接触计算机视觉,前半部分关于筛选和基本功的建议也能帮你少走弯路。

1. 2026.09.01这期,我重点盯了三个方向

先说总体的方向判断。9月1号这期cs.CV的论文分布里,单模态的"纯视觉"工作明显在变小,绝大部分论文的摘要里都会出现多模态、大规模预训练、效率压缩这类关键词。这不是某个团队的风向改变,而是整个领域的基础设施发生了迁移。我分别说说这期里值得关注的三条线。

1.1 多模态统一:单独的检测或分割论文在减少

这期cs.CV里,仍然把目标检测、语义分割当作唯一任务的论文,数量比去年同期少了不少。取而代之的,是大量把检测、分割、姿态估计、深度估计塞进同一个模型框架的工作。这类工作的共同套路是:用统一的tokenizer把不同模态和不同任务的特征对齐,然后在一个Transformer骨干网络之上,剩下的事情全部交给任务特定的query和decoder头。

这个趋势直接改变了选题策略。如果你现在还想靠"把Faster R-CNN的backbone换一下"或者"给SegFormer加个模块"来发论文,基本已经不太可能了。我在今年审稿的几篇稿子也体现了这一点——审稿人问的第一个问题往往是"你的方法和多模态统一模型对比了吗",而不是"你的模块在单一任务上涨了几个点"。

对新人来说,这条线的门槛主要在数据混合和训练策略上,而不在模型结构上。单跑一个任务的数据集很容易过拟合,但要让一个模型同时学会检测和分割,学习率的调度、任务的采样比例、loss权重的配比,这些细节比模型本身的创新更关键。这期有几篇工作就是直接在训练策略上做文章,不改变网络结构,纯粹靠调整任务间的梯度冲突,就把多任务的效果拉高了一截。

1.2 视频理解进入"长时序"竞争阶段

这期的视频方向论文,几乎都在解决同一个问题:如何让模型看得更久。早期视频模型只能处理几秒的clip,后来慢慢扩展到几十秒,这期已经出现能够处理分钟级视频输入的工作。核心难点在于,直接把帧token全部丢给Transformer,显存和算力都扛不住,所以各家都在做token压缩:有的用帧间的特征hash做去重,有的用可学习的合并策略把相邻帧的相似token融合,还有的用稀疏注意力只对关键帧做全局计算。

我特别留意到一篇处理方式比较巧妙的,它把视频看成"短时细节+长期记忆"两层结构:细节层用高分辨率处理当前片段,记忆层用一个不断更新的压缩特征池来记录前面的内容。这个思路其实很像人看视频的方式——你不会记住每一帧的每个像素,但你会保留一个概要性的记忆,然后在需要的时候回过头去查细节。这个机制和很多视觉语言模型里常用的memory bank有类似之处,但它是在视频token层面做的,更底层一些。

长时序视频这个方向,工程落地价值很高,因为实际业务里的视频动辄几分钟甚至更长,而大多数现有模型只能处理几秒的片段。做安防、内容理解、自动驾驶数据挖掘的人,可以重点跟进这条线。

1.3 高效小模型重新回到话题中心

这期有不少工作在做"把大模型变小"这件事。蒸馏、量化、剪枝这些词出现频率很高,而且不再只是做一个压缩实验那么简单,很多工作是直接把效率目标写进了训练过程,比如从零开始训练一个小模型,然后在训练过程中让大模型以teacher的身份逐步退出。这个思路比训练完了再压缩要稳,最终模型的精度损失小很多。

另外,以MoE结构做视觉tokens稀疏激活的工作也很多。思路是:不是所有token都需要经过同样多的计算量,简单背景区域的token用少量参数处理,复杂物体区域的token才用大计算量。这种动态路由的方式在不损失精度的前提下,能减少40%-60%的推理计算量。

对于大多数做应用的团队来说,这条线是离业务最近的。动不动就上几百B的大模型不是所有公司都能承受的,能够用消费级显卡跑起来的视觉模型,才是工程落地里真正稀缺的东西。

2. 从两百多篇到十篇,我的"三筛法"实际操作

每次cs.CV更新,真正能进精读池的论文可能只有个位数。今天这期两百多篇,我最后精读完的只有七篇,通读摘要的大概五十篇。这个筛选动作不是靠感觉,而是有一套相对固定的流程,我已经跑了快两年,效率和准确率都还稳定。

2.1 第一轮筛选:标题加摘要加图表,十分钟内决定去留

第一轮的目标是在不读正文的前提下,判断一篇论文是否与我的研究方向相关、是否有足够的创新点。我的操作路径是:先看标题里的动词,是surpass、propose、improve还是analyze。如果是improve或者analyze,先降一档期望,因为这类标题通常是在已有框架上打补丁;如果是propose且后面跟的是一个新框架或新任务,就值得再往下看。

接着看摘要的最后一句。几乎所有论文的摘要最后一句都在吹自己的贡献,但你要看的是它声称的贡献是什么类型的:是刷了一个新的SOTA数字,还是提出了一个之前没人做过的问题,还是把某个方法的计算量降了一个数量级。不同类型的贡献,含金量排序大致是:提出新问题大于降复杂度,降复杂度大于刷SOTA数字。因为刷SOTA往往依赖算力和工程细节,而这些很难复现。

最后扫一眼图表。一篇论文的图表质量基本能反映工作质量:如果图里的结构图连模块之间的数据流都画不清楚,这篇论文大概率不靠谱;如果实验表格里对比的baseline大多是五年前的旧方法,说明作者没有和最新的工作硬碰硬,审稿人在这种情况下一般不会给过。

完成这一轮,大约十到十五分钟一篇,两百多篇里能筛出三四十篇进入候选池。

2.2 第二轮:候选论文的量化打分表

进入候选池之后,我不急着细读,而是先把关键信息整理成一张表,做一个量化打分。

判断维度 分值(1-5) 判断依据
问题重要性 1-5 解决的问题是否是真实痛点,还是自造问题
方法独特性 1-5 是否提出了新机制,还是把旧组件换皮组合
实验充分性 1-5 对比的baseline是否够新,消融是否完整
复现成本 1-5 代码是否开源、卡的需求量级、数据是否公开
与本人方向匹配度 1-5 是否对我的项目有直接参考价值

打分在15分以下的直接放弃,15到20分存到"值得关注"目录,20分以上的才进入精读阶段。这套打分表最大的作用是帮我抵抗"这篇看起来不错先存着"的冲动——以前我收藏了大量论文,结果没有一篇真正读过,信息囤积带来的焦虑感比收获感多得多。

2.3 给刚入门的读者:筛论文之前,先建知识地基

因为这篇汇总发出来后,总有一些刚开始学计算机视觉的同学在评论里问"这些都是什么",所以这里多写一段给新手的话。

论文筛选和精读是研究者阶段的事。如果你现在连卷积的stride和padding怎么影响输出尺寸都还不清楚,看cs.CV的论文只会增加挫败感。我建议的顺序是:先把知识地基打好再做论文阅读。章毓晋的《计算机视觉教程》算是一本比较成熟的中文入门书,能把图像处理、特征提取、几何视觉这些基础概念讲清楚;然后做一两个课程项目或大作业,把检测、分割这些经典任务动手跑通一遍;之后再碰论文,你才会知道论文里的那些术语到底在说什么。

现在网上能找到的学习资源其实很多,但计算机视觉基础知识的框架性问题,比如特征表达、模型容量、过拟合、评估指标这些,靠碎片化阅读是补不齐的。这个阶段不要贪快,地基不牢后面每篇论文都读得云里雾里,反而更慢。

3. 这一期我反复精读了这几篇

筛选过后,这期我真正精读的是几篇分别在统一感知、生成提速、长视频记忆三个切面上有代表性的论文。下面挑三篇拆开讲,包括我读它们时主要关注什么、它们的核心贡献是什么、以及它们的短板在哪里。

3.1 统一感知架构:把多个任务塞进一个框架

有一篇做统一感知的工作,核心思路是把检测、分割、姿态估计统一到一个框架里,但和之前一些强行在输出端做多个head的方案不同,它的重点在query的设计上。

这篇把query拆成了两类:一类是全局共享query,用来编码跨任务通用的信息,比如物体是什么、在什么地方;另一类是任务专属query,负责输出任务特定的结果,比如检测框的坐标、分割的mask、关键点的位置。两层query之间通过跨注意力交互,让任务专属query可以从共享query中获取通用特征,但又不会互相干扰。

这个方法有什么好处?共享query在训练过程中会学到通用的"视觉常识",所以当数据量不够时,多个任务可以互相借力。比如分割数据比较少,但因为检测数据量很大,共享query已经从检测任务里学到了高质量的物体边界信息,分割任务可以直接受益。这种隐式的迁移学习,是它能够在各任务上都取得不错效果的主要原因。

但这篇的问题也很明显:训练稳定性和超参敏感度都比较高,任务采样比例、loss权重、共享query的数量都需要精细调参。论文里只说在8卡A100上训练了若干天,真正复现过你就会发现,中间任何一个环节不对,结果可能直接崩掉。这类工作在方法上有参考价值,但要直接拿来用,还需要做不少工程适配。

3.2 生成模型的步数压缩:蒸馏加对抗,双管齐下

图像生成方向这一期有个热点是如何把采样步数进一步压缩。扩散模型的推理速度一直是落地痛点,过去需要几十步甚至上百步去噪,现在大家都在往个位数的步数上压。

我细读的这篇采用了两条腿走路的策略:先用一致性蒸馏把学生模型引导到一个少步数收敛的方向上,再用对抗训练来修复蒸馏过程中丢失的高频细节。一致性蒸馏负责保证生成过程的稳定性,对抗训练负责提升单步生成的真实感。两者结合的思路不新鲜,但它的关键在于训练过程的退火策略——前期对抗损失的比重高一些,让模型快速学会生成有辨识度的纹理;后期逐步降低对抗损失,让一致性蒸馏的稳定性接管训练,避免训练后期出现模式坍缩。

从实验效果看,在保证FID不出现明显退化的情况下,把采样步数压到了4到8步,生成质量肉眼几乎看不出差异。这里面有个很实际的问题值得注意:对比实验里,它和同样步数的其他加速方法对比时,指标确实是领先的,但生成速度还受限于text encoder和VAE解码的开销。有些人只看采样步数就得出结论,实际上真实的端到端耗时并没有少太多。做工程评估时,要看端到端的吞吐,而不是只看论文里的某一个数字。

3.3 分钟级视频理解:用持续更新的记忆token

这篇是我这期读得最慢的一篇,也是觉得最有启发的。它的目标是让模型理解长视频,输入时长接近十分钟。

方案的核心是把整个视频切成了很多个短片段,每段独立编码。但关键在片段之间设置了一个持续更新的记忆token集合。当前片段编码完成后,模型会比较当前片段的信息和已有记忆token的相似度,决定哪些记忆需要更新、哪些可以归档。这样长期信息会被持续压缩保留,而详细帧信息会在处理完之后释放,腾出计算资源给后续片段。

这个设计的精妙之处在于,它绕开了直接把长视频一次性送进Transformer的显存瓶颈,也没有采用简单的均匀采样——均匀采样会丢失关键细节,而这个方案能够自动保留那些和已看内容不一致的新信息。比如视频里大部分时间是静态的办公室场景,突然有人走进来,这个"变化"就会被重点保留。

局限也很明显:对记忆token数量的设置很敏感,数量太少保不住关键信息,数量太多计算量又上去了。而且这种记忆机制目前还没有一个公认的评测标准来验证"模型到底记住的是不是关键信息"。不过整体来看,这个方向对长视频理解类应用的影响会越来越明显。

4. 从论文到复现:我踩过最深的几个坑

读论文不是终点,能把方法复现出来才算真正掌握。我过去两年时间里复现过的论文不算多,但踩过的坑很有代表性,在这里集中说一下。

4.1 数据管线不一致,指标虚高的重灾区

很多论文官方代码给出的效果和论文里表格对不上,最常见的原因不在模型本身,而在数据管线。我遇到过的情况包括:有的代码在预处理时使用了额外的数据增强,但论文里没有写;有的代码在加载数据集时混入了训练集的统计信息做归一化,实际上泄露了数据;还有的在测试时使用了TTA(测试时增强),但论文的评估设置里并没有说明。

这种问题排查起来非常慢,因为模型的结构、损失函数看起来都对,但指标就是达不到。我的经验是:复现的第一步永远先跑通数据管线,单独对比送入网络的样本长什么样。比如训练集读取第一张图,确认通道顺序、归一化范围、尺寸、翻转策略,和论文的描述逐一核对。数据管线如果和论文对不上,后续所有努力都是白费。

另一个实操建议是:先看loss曲线的形态,而不是紧盯最终指标。loss曲线可以反映模型的收敛趋势、是否发生梯度爆炸、学习率是否合适。如果loss曲线的形态和论文给出的趋势不一致,说明某个环节的理解是有偏差的,这时候先不要盲目继续跑。等loss曲线复现了,再追求最终指标。

4.2 学习率热启动与EMA,论文里经常不写

很多论文写着"使用cosine学习率调度",听起来很简单,但真实的设置通常还包括warmup步数、batch size、梯度裁剪、EMA衰减系数、是否冻结backbone的前几层等等。这些细节有很大一部分只在代码仓库里,不在论文正文里。

论文的正文因为篇幅限制,只会写最关键的设置。但一般对于复现结果影响最大的往往是那些"没写在正文里"的部分。我踩过最典型的坑是:一篇论文在正文里只说了batch size是64,但是它的代码里用了梯度累积,实际等效batch size是256。直接按64跑,模型的精度差一大截,后来翻代码才发现这个细节。

提供一个我目前比较通用的基线训练配置,读者在复现大部分视觉模型时可以参考:

  • 优化器:AdamW,betas=(0.9, 0.999),weight_decay=0.05
  • 基础学习率:batch size 256时用1e-3,按线性缩放规则调整
  • warmup:总训练步数的5%,使用线性热启动
  • 调度:cosine退火到初始学习率的1/100
  • EMA:decay=0.9999,在验证阶段使用EMA权重
  • 梯度裁剪:max_grad_norm=1.0

这个配置不一定和原论文完全一致,但它是一个比较稳的起点。在这个基础上做微调,比在未知的配置上做大幅改动容易收敛得多。

4.3 评估指标的口径游戏

最后要说的是评估环节的坑。目标检测的mAP,不同实现之间,IoU阈值、NMS的阈值和类型、单尺度测试还是多尺度测试、甚至是否使用了soft-NMS,都会对最终的分数产生明显影响。分割任务也一样,mIoU的计算是否包含背景类、是否做了形态学后处理,结果都会不一样。

所以对比实验时,最稳妥的做法是把baseline的评估代码整个拉下来,在自己的数据上重新跑一遍baseline,而不是直接引用论文里报告的数字。每篇论文用的评估环境和细节不完全相同,直接拿论文数字当baseline,你的对比结论很可能站不住脚。

在向别人呈现自己的实验结果时,我也建议你在实验表格下面注明评估设置:输入分辨率、测试尺度、后处理参数、是否使用TTA。这不仅是学术规范,也是对自己的保护——至少别人复现不出来的时候,你有据可查。

5. 长期跟踪论文,我搭建的一套不算复杂的管理系统

刷arxiv论文这件事,最难的不是某一次看懂一篇,而是持续跟住几个方向,不遗漏重要的进展,也不被信息洪流淹没。下面这套系统我用了将近两年,整体的"性价比"我觉得很高。

5.1 用RSS订阅替代手动刷网页

arxiv官方为每个分类都提供了atom订阅源,把cs.CV这个分类的订阅链接加到AnyBox这类RSS阅读器里,每天定时拉取即可。方式很简单,但能节省大量反复刷新网页的时间。为了提高效率,我在RSS阅读器里设了一个过滤规则:标题里出现目标检测、多模态、视频理解、扩散模型这些我想要的关键词时,自动打上高亮标签;标题里出现无法理解的任务缩写、和我的方向完全无关的关键词时,自动折叠。

实测而言,用RSS拉取arxiv的效率比直接打开网页看要高不少,而且不会受推荐算法的干扰,看到的永远是当日最原始、完整的更新列表,这一点非常重要——论文筛选的主动权必须在自己手里。

5.2 一周一次"空桌子复盘"

不管当天多想立刻精读,我都不建议当天做这件事。arxiv每天更新的量太杂,当天的精读判断容易带着瞬时情绪,但拖太久又会遗忘。我给自己定了一个规矩:每周固定半天,清空桌面,拿出一整块时间集中处理这一周积攒的待读论文。

这一轮只做三件事:快速扫摘要,把候选池里的论文按之前的打分表重新打分;把20分以上的论文下载到本地;把进入精读名单的论文分给当天的空闲时间。这样做的好处是,每周都是同样的节奏,长期执行不会累,也不容易漏掉重要的文章。我认真跟踪几个方向的论文,基本就是用这种固定的节奏完成的。

5.3 论文笔记的模块化写法

读论文的时候做的笔记,最重要的不是摘抄,而是建立结构。我用的是一张卡片式的模板,一般包含以下几个模块:

字段 内容
一句话总结 这篇论文做了什么,不超过50字
核心问题 它解决了什么问题,这个问题为什么重要
方法逻辑 大致的方法流,用三到四句话讲清楚
关键实验 哪些实验验证了方法的核心贡献
与我相关 和我的项目有什么交叉点,能否借鉴或对比
局限与风险 方法的短板,复现时可能遇到的坑

每篇笔记不超过一页。这个约束能逼着自己在读完后提炼本质,而不是抄一堆公式。我还会在笔记之间做链接,比如把"某个检测论文里query的解耦思路"和"某篇多任务工作的query设计"关联起来,这种跨论文的连接往往能产生自己的研究灵感。

长期积累下来,这套笔记系统会变成自己的私有知识库,比任何公开的论文列表都好用,因为它是真正按照你自己的思维习惯组织的。

做论文汇总这件事,做了几年下来,我的一个明显感受是:真正重要的不是"读了多少篇",而是"建立了什么样的判断标准"。信息永远读不完,但你只要有了筛选逻辑、精读方法和知识沉淀系统,面对任何一期更新,都能很快找到对你有价值的东西。这个能力是比任何一篇具体的论文都更值得积累的。

更多推荐