原始像素格式、帧内压缩与视频编码标准详解
关于原始像素格式、帧内压缩与视频编码标准
视频和图像处理领域,尤其是在摄像头采集、视频传输和流媒体应用中,经常会遇到各种视频格式:YUYV、MJPG、H.264 等等。很多人容易混淆它们的概念,其实它们分属不同的技术层次。本文将从专业角度分析它们的区别,并给出通俗易懂的解释,让你既能理解原理,又能实际应用。
一、原始像素格式(Raw Pixel Format)
1. 专业讲解
原始像素格式直接描述 像素在内存中的排列方式,不涉及任何压缩。例如:
- YUYV (YUV422):每两个像素共享 U 和 V 分量,但各自有独立的 Y 分量。
- RGB24 / BGR24:每个像素独立存储 R、G、B 分量。
- NV12 (YUV420):Y 分量独立存储,UV 分量交错存储,存储效率高。
特点:
- 无压缩,数据量大。
- 解码简单,直接读取像素即可。
- 常用于工业相机、机器视觉和延迟敏感场景。
示例:YUYV 数据排布
Y0 U0 Y1 V0 → 两个像素
Y2 U1 Y3 V1 → 下一个两个像素
带宽示例:1920×1080 @ 30fps
- 每像素 16 bit → 每帧 ~4.1MB
- 每秒 ~124 MB/s (~1 Gbps)
2. 通俗解释
可以把 Raw 看作 每一帧都是一张原始大照片,画质最好,但数据量非常大,就像你拍 30 张超大照片每秒钟存起来。
二、帧内压缩(Intra-frame Compression)
1. 专业讲解
帧内压缩只在单帧内部进行压缩,每帧独立编码。典型代表:MJPG (Motion JPEG)。
特点:
- 压缩率中等,比 Raw 小很多,但比 H.264/H.265 大。
- 解码需要 CPU/GPU 解压 JPEG,每帧独立,无需参考其他帧。
- 帧独立,便于随机访问和丢包恢复。
带宽示例:1920×1080 @ 30fps
- 压缩比一般 1/10~1/20
- 每帧 200~500 KB
- 每秒 6~15 MB (~48–120 Mbps)
应用场景:USB 摄像头、监控、低延迟视频传输。
2. 通俗解释
帧内压缩就像把每一张照片存成 JPEG 压缩图,每帧独立,虽然画质会有损失,但数据量小很多。
三、视频编码标准(Inter-frame + Intra-frame Compression)
1. 专业讲解
视频编码标准采用 帧内压缩 + 帧间预测 技术,使多帧联合压缩,达到最高压缩率。典型代表:H.264、H.265、AV1。
特点:
- 压缩率最高,比 MJPG 小 5~10 倍。
- 解码复杂度高,需要硬件解码或 GPU 支持。
- 帧间依赖强(I 帧、P 帧、B 帧),丢帧会影响后续帧解码。
- 常用于流媒体、视频存储和实时视频会议。
带宽示例:1920×1080 @ 30fps
- 每秒大约 2~8 Mbps(视压缩率和场景而定)
2. 通俗解释
可以把 H.264/H.265 想象成录日记:
- 第一天写完整内容(I 帧)
- 第二天只写“和昨天差不多,只改了一点点”(P 帧)
- 第三天只写“比前天又少一点点”(B 帧)
这样每天的记录很短,但看起来完整无缺,存储效率最高。
四、对比总结表
| 类型 | 压缩方式 | 带宽需求 | 解码复杂度 | 延迟 | 常见用途 |
|---|---|---|---|---|---|
| Raw | 无压缩 | 高 | 低 | 极低 | 工业相机、机器视觉 |
| 帧内压缩 (MJPG) | JPEG 压缩 | 中 | 中 | 低 | USB 摄像头、监控 |
| 视频编码标准 (H.264/H.265) | 帧内 + 帧间预测 | 低 | 高 | 较高 | 流媒体、存储、视频会议 |
五、分类层级理解
视频数据
├── 原始像素格式 (Raw) → YUYV, RGB24, NV12
├── 帧内压缩 (Intra-frame) → MJPG
└── 视频编码标准 (Inter-frame + Intra-frame) → H.264, H.265
总结:
- Raw → 每帧完整原图,画质最好,带宽最大
- MJPG → 每帧 JPEG 压缩,折中方案
- H.264/H.265 → 帧间压缩,带宽最小,但解码复杂
六、选择建议
- 工业场景 / 机器视觉:使用 Raw 或 YUYV,保证质量与低延迟。
- USB 摄像头 / 低带宽传输:使用 MJPG,带宽节省明显,延迟低。
- 流媒体 / 视频存储 / 高清录像:使用 H.264/H.265,压缩效率最高,但需硬解码。
七、通俗比喻总结
- Raw → 每秒拍 30 张超大原图
- MJPG → 每张照片存成 JPEG
- H.264/H.265 → 录日记,每天只写变化部分
这样既能理解技术原理,又能直观记忆不同格式的使用场景和特点。
写这个的原因:
有人在使用外接相机进行实验的时候,因为系统没有合适的相机驱动程序,可能会自己写了一个简单的脚本来捕获相机的输入,发现虽然能成功捕获但是视频的帧率很低,其实在进行原生捕获的时候默认的就是全尺寸图像的视频流,这是很吃带宽开销的也是导致帧率上不去的一个原因,只需要设置:
self.cap.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter_fourcc(*'MJPG'))
进行强制 MJPG 编码,避免 YUYV 降帧,即可解决帧率上不去的问题
更多推荐


所有评论(0)