（2026|康奈尔，图像/视频分割，滑动窗口剪枝，BiLSTM 分类器，身份嵌入池重识别）用于边缘部署的基于 SAM 3 和 DINOv3 的轻量级蒸馏技术

一个完整的 SAM 3 跟踪器与 DINOv3-ViT-7B 嵌入器（embedder）共同驻留在单个 GPU 上时，其内存占用超过了 Jetson Orin NX 16GB 的边缘设备限制。
本文的测量显示，仅 SAM 3 在单个 NVIDIA A10 GPU 上的峰值内存就达到了 19.52GB。持续的推理计算只能被路由到云端 GPU 或 farm 办公室的工作站，这不仅带来了连接、延迟和持续性成本问题，也不适合乡村部署环境。
此外，即使是在云端 A10 GPU 上，SAM 3 的 session 内存在本文的测量中也会以每个被跟踪物体每帧约 5.6MB 的速度单调增长。
现有的一些边缘侧解决方案（如 MASM-YOLO）通过使用小型专用检测器来实现实时性能，但绕开了基础模型，也放弃了其所建立的高精度优势。

1.4 SAM 家族模型压缩：相关工作

针对上述计算鸿沟，涌现了大量关于压缩 SAM 系列模型的工作。本文将其按 SAM 的三个版本分为三代进行梳理。

（2023|ICCV|Meta，SAM，可提示（点、框、掩码）分割任务，数据引擎和数据集/SA-1B）分割一切

（2025|ICLR|Meta，SAM2，图像/视频分割，时空掩码，记忆库，交互式提示，数据集构建）图像和视频中的 “任意分割” 功能

（2026|ICLR|Meta，SAM3，基于概念提示的图像/视频分割，基于人工+AI验证的数据引擎，SAM3 Agent，MLLM）基于概念的任意分割

SAM 1 蒸馏：

MobileSAM、EfficientSAM、EdgeSAM 和 EfficientViT-SAM 等方法，通过解耦蒸馏、掩码图像预训练或架构替换等策略，在 COCO、LVIS 等自然图像基准上实现了出色的性能。
然而，它们仅针对单张图像分割。

SAM 2 / SAM 3 蒸馏：

视频 tracking 时代引入了图像编码器之外的第二个计算瓶颈——跨帧记忆注意力模块。
EdgeTAM / EfficientTAM 和 EfficientSAM3 等方法开始压缩编码器和记忆模块，用于流式处理，并在标准 VOS 数据集上进行验证。

本研究的目标：

上述所有工作都未报告对牲畜监测视频至关重要的两项指标：跨遮挡的个体身份保持（MOTA, IDF1）和下游行为分类质量。
Edinburgh Pig 基准测试中包含的挑战（如高类内相似度、频繁的部分遮挡和休息时几乎相同的姿态）是自然图像基准无法体现的。
因此，本文定位为首个以牲畜 per-animal welfare 分析为目标、并专门针对猪视频的蒸馏 SAM 3 工作。

1.5 压缩 vs 替换：何时蒸馏，何时替代

（2025|Meta，ViT，大规模自监督训练稳定性，Gram 锚定/patch一致性，高分辨率训练，多学生并行蒸馏，RoPE，密集视觉特征，分类/分割/检测）DINOv3

DINOv3 官方在发布 7B 参数教师模型的同时，也发布了包括最小 21.6M 参数的 ViT-S/16 在内的一系列预蒸馏版本。

对这样一个已蒸馏模型进行二次蒸馏，效果可能提升有限甚至变差。
因此，对于 DINOv3，正确的做法是进行实证检验，而不是架构上的重新蒸馏：即最小尺寸的 ViT-S 变体是否保留了足够的表征能力。

而对于 SAM 3，当前不存在专门针对牲畜的公开蒸馏版本，因此需要走蒸馏路线。这解释了本文为 SAM 3 和 DINOv3 采取不同处理方式的动机。

1.6 贡献

本文提出以下四项主要贡献：

将 SAM 3 的 446M 视觉 backbone 蒸馏至 40.66M 的学生模型，仅带来 1.68% 的 MOTA 和 0.84% 的 IDF1 损失。此结果依赖于三个关键机制：多尺度学生编码器、四项蒸馏损失函数以及内存管理的会话剪枝。
首次验证了 DINOv3-ViT-S (21M) 在 PLF 任务上的可行性，仅通过训练一个下游时序分类器就在猪行为分类上取得 97.34% 的 top-1 准确率和 91.67% 的 macro-F1，证明了最小的 DINOv3 变体可作为设备端 PLF 流水线的有效嵌入器。
设计并分析了嵌入池重识别机制，利用 DINOv3-ViT-S 嵌入作为长程身份信号，为每只 animal 跨 session 维持稳定身份，每年每只 animal 仅产生约 94MB 的数据。
完成了集成边缘设备可行性审计。结合蒸馏结果，压缩后流水线峰值显存降至 6.49GB，可在 Jetson Orin NX 16GB 上留出 4.9GB 余量运行。

2. 数据与方法

2.1 数据集与任务

所有实验均在公开的 Edinburgh Pig Behaviour Video Dataset 上进行。

该数据集包含 8 头生长猪在 6 周内的 overhead 视频。
本文使用其中 9 段已标注的 600 帧视频片段，共包含 5400 个标注帧和 43200 个个体猪边界框标注。

数据集被划分为两种用途：

对于 SAM 3 蒸馏，按片段级别划分为 4 段训练、1 段验证和 4 段测试集，以避免时间信息泄露。
对于 DINOv3 行为分类，使用了所有片段中通过先前流水线提取的约 43000 个猪只裁剪图，并分配了站立、躺卧、吃食、饮水等九类行为标签。该任务存在严重的类别不平衡问题，例如睡眠行为占比约 53%，而奔跑和玩玩具行为各占不到 0.5%，本文通过类别加权训练处理此问题。

2.2 教师流水线 (Teacher Pipeline)

本工作的起点是本文之前发布的模块化视觉流水线 (Yang et al., 2025)，包含四个阶段：

1）OWLv2 开放词汇检测
2）视频分割与 tracking
3）自监督特征提取
4）LSTM 行为分类。

在本工作中，将该流水线的两个核心模块进行了代际升级：

将 SAM 2 升级为 SAM 3
将 DINOv2 升级为 DINOv3，并直接采用其预蒸馏的最小 ViT-S 版本。

由此构成的参考流水线 (OWLv2 → SAM 3 → DINOv3-ViT-S (21M) → BiLSTM) 是本研究进行压缩的起点。

该系统中，最重的模块是 SAM 3（在 A10 上峰值 19.52GB）及其随帧数线性增长的流式 session。

后续章节将阐述如何将 SAM 3 适配进 16GB 的 Jetson Orin NX 设备。

2.3 SAM 3 骨干网络蒸馏

这是本文的核心方法部分，详细介绍了如何压缩 SAM 3 的视觉 backbone。主要包括以下几点：

目标表征：

选择 SAM 3 视觉 backbone (PE-ViT-L+) 的最终输出张量作为蒸馏目标，其形状为 [1, 1024, 72, 72] (对应 1024x1024 输入分辨率)。
将所有训练和验证帧的目标提前提取并存储，总计获得 2400 个训练目标和 600 个验证目标。

学生架构 (StudentEncoderTinyViT)：设计了一个基于 TinyViT-21M-512 的多尺度学生编码器，这是本文的主要架构贡献。

它融合了 backbone 的阶段 2、3、4 的输出，通道数 192、284、576
通过 1x1 卷积和 GroupNorm 投影到统一维度，上采样到 72x72 的共同空间分辨率并拼接
最后通过一个通道投影层和残差空间细化模块，输出与教师目标形状完全相同的张量 [B, 1024, 72, 72]。
学生模型总参数量约 40.66M。

架构设计决策：文中详细说明了三个关键设计选择：

1) 将所有 BatchNorm 层替换为 GroupNorm，以消除训练和评估模式间的统计偏差；
2) 融合多尺度特征，以同时获取局部细节和全局语义；
3) 将残差细化块中的 GroupNorm 层零初始化，以确保训练初期的主路径学习不受干扰。

损失函数：设计了一个四部分组成的 “方向-尺度” 蒸馏损失，按权重从高到低依次为：

L2 归一化后的方向性 MSE 损失、
逐 patch 的余弦相似度损失、
通道级均值与标准差的矩匹配损失，
低权重的原始 MSE 辅助损失。

这些权重是经过实验调整的，以避免模型只匹配方差而不对齐方向的坍缩问题。

优化协议：

使用 AdamW 优化器，为 backbone 和其他新增模块设置了不同的学习率（1e-4 和 3e-4），并采用余弦退火热重启学习率调度、梯度裁剪、bfloat16 混合精度训练以及指数移动平均（EMA）等技巧。
模型在训练 75 个 epoch 后达到最佳验证损失。

推理时集成（backbone 替换）：

由于蒸馏发生在 backbone 输出层，训练好的学生模型可以直接替换掉 SAM 3 原有的 backbone，
下游的 FPN 颈、解码器等所有模块无需任何修改，实现了即插即用。

流式内存管理：

为应对 SAM 3 推理 session 内存单调增长的问题，本文实现了一个滑动窗口剪枝程序，
只在内存中保留每个物体最近 8 个非条件帧的输出，每隔 25 帧进行一次清理，从而将流式 GPU 内存增长限制在一个恒定的上界。

2.4 DINOv3-ViT-S (21M) 的采用与行为分类

本节描述了如何评估和利用预蒸馏的 DINOv3-ViT-S 模型进行行为分类。

个体级别的图像块，通过 “OWLv2–SAM 3–边界框–裁剪” 链式生成
然后，使用 ViT-S/16 作为冻结的特征提取器，从单只牲畜的裁剪图中提取特征。
然后，训练一个双向 LSTM（BiLSTM）分类器，该分类器接收一个由 3 个连续帧组成的时序窗口，输出该窗口中心帧的行为类别。

2.5 嵌入池重识别机制

为了实现在设备端跨 session 的长期个体 identity 关联，本文提出嵌入池重识别（Embedding-pool re-identification）。其核心思想是，

为每个已知个体维护一个动态的嵌入池，
当检测到一个新的动物裁剪图时，会计算其嵌入向量与池中所有样本的相似度，
如果超过阈值，则判定为同一 ID，否则创建一个新的 ID。

这种机制允许模型在没有复杂空间-时间推理的情况下，仅通过视觉外观进行重识别，并以每只 animal 每年约 94MB 的低存储代价，构建起纵向视觉记录，为下游的健康或成长分析奠定基础。

2.6 评价指标与计算协议

本文使用了多维度的评估指标。

对于蒸馏效果，使用多目标 tracking 的 MOTA 和 IDF1 来评估身份保持能力，并用学习到的蒸馏损失值来衡量特征保真度。
对于行为分类，报告了 top-1 准确率、macro-F1 和混淆矩阵。

所有关于推理时间、内存和吞吐量的测量均在统一的硬件环境（NVIDIA A10 GPU）和软件栈下进行，以确保可比性。

3. 结果

3.1 SAM 3 蒸馏结果

主要 tracking 指标：

压缩后的流水线在测试集上取得了 92.29% 的 MOTA 和 96.15% 的 IDF1。
相较于 SAM 3 教师模型（分别为 93.97% 和 96.99%），性能损失非常小，MOTA 仅下降 1.68 个百分点，IDF1 仅下降 0.84 个百分点。
这在保持高精度 tracking 的同时，实现了巨大的模型压缩。