论文标题

RepViT: Revisiting Mobile CNN From ViT Perspective

RepViT：从ViT视角重新审视移动CNN

论文链接

RepViT: Revisiting Mobile CNN From ViT Perspective论文下载

论文作者

Ao Wang, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

内容简介

本文探讨了如何从视觉变换器（ViT）的角度重新设计轻量级卷积神经网络（CNN），以提高其在移动设备上的性能和效率。研究者们通过将轻量级ViT的高效架构设计整合到标准的轻量级CNN（如MobileNetV3）中，提出了一种新的轻量级CNN家族——RepViT。

实验表明，RepViT在各种视觉任务中均优于现有的轻量级ViT模型，并在iPhone 12上实现了超过80%的top-1准确率和1.0 ms的延迟。此外，RepViT与SAM结合后，其推理速度比MobileSAM快近10倍。

关键点

1.背景与动机：

轻量级ViT在移动设备上表现出色，但存在硬件支持不足和对高分辨率输入敏感的问题。相比之下，CNN在边缘设备上具有优势，因此研究者们试图通过整合ViT的设计来提升CNN的性能.

2.方法：

研究者们从MobileNetV3出发，逐步引入轻量级ViT的高效设计，包括分离的token mixer和channel mixer、减少扩展比和增加网络宽度等策略，最终形成了RepViT架构.

3.实验结果：

RepViT在ImageNet上达到了超过80%的top-1准确率，且在iPhone 12上的延迟仅为1.0 ms。此外，RepViT在目标检测、实例分割和语义分割等下游任务中也表现出色.

4.与SAM结合：

将RepViT与Segment Anything Model（SAM）结合后，RepViT-SAM在移动设备上的推理速度比MobileSAM快近10倍，同时保持了良好的零样本迁移能力.

CV-vision-transformer必读论文合集：

CV-vision transformer必读论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！

论文代码

GitHub - THU-MIG/RepViT: RepViT: Revisiting Mobile CNN From ViT Perspective [CVPR 2024] and RepViT-SAM: Towards Real-Time Segmenting Anything