图像传感器工作原理详解（CMOS/CCD、像素架构、噪声与读出）

目录

• 1. 总览与结构
• 2. 光电转换与关键参数
• 3. 像素架构（3T/4T/PPD）与操作时序
• 4. 噪声模型与非理想性
• 5. 读出链路（行列驱动、CDS、列并行ADC）
• 6. 快门方式（Rolling vs Global）
• 7. 光学前端（微透镜、CFA、IR-cut、OLPF）
• 8. BSI vs FSI
• 9. HDR技术（多曝光、DCG、Staggered HDR、LFM）
• 10. PDAF（相位检测像素）
• 11. Quad Bayer/像素合并（Binning/Re-mosaic）
• 12. 增益与曝光控制（ISO与噪声权衡）
• 13. 温度与暗电流影响
• 14. 标定与评估（BL/DSNU/PRNU/LSC/OECF/MTF/QE）
• 15. 时序与接口（MIPI CSI-2、RAW10/12/16）
• 16. 功耗与可靠性（热像素、老化）

---

1. 总览与结构

• 图像传感器将入射光转为电信号，核心包含：像素阵列（光电二极管+读出晶体管）、行列扫描与采样、模拟前端（缓冲/放大/采样保持）、模数转换（列并行ADC）、数字接口与控制。
• CMOS主流优于CCD在功耗与集成度上；移动/嵌入领域以CMOS为主。

2. 光电转换与关键参数

• 光生电荷：入射光子数 N_γ 经过量子效率 QE(λ) 转化为电子数 N_e ≈ QE · N_γ。
• 转换增益（Conversion Gain, CG）：单位电子引起浮动扩散结（FD）电压变化 CG = ΔV/Δe⁻ = 1/C_FD（以电容等效表示）；换算 e⁻/DN 结合模拟增益与ADC满量程。
• 满井容量（Full Well Capacity, FWC）：像素可存储的最大电子数，决定高光上限与动态范围上界。
• 动态范围（DR）：DR ≈ 20·log10(FWC / NoiseFloor)；NoiseFloor 包含读出噪声、暗电流等。
• 响应度与线性：光电流随照度近似线性，饱和处非线性；OECF（光电转换函数）表征输入照度到数字值映射。

3. 像素架构（3T/4T/PPD）与操作时序

• 3T像素：复位（RST）、源极跟随（SF）、行选（ROWSEL）；易受复位噪声影响。
• 4T像素（PPD，钉扎光电二极管）：加入传输门（TG）与浮动扩散结（FD），可用相关双采样（CDS）有效抑制 kTC 复位噪声与固定模式噪声（FPN）。
• 关键节点：PPD→TG→FD→SF→COL；时序：复位FD→积分曝光→转移到FD→采样复位电平→采样信号电平→CDS差分。

4. 噪声模型与非理想性

• 光子散粒（Shot）噪声：σ_shot = √N_e，SNR_shot = √N_e。
• 读出噪声（Read Noise）：放大器/ADC/电源/1/f噪声综合；以电子数或DN表征。
• 复位噪声（kTC）：σ_V = √(kT/C)；通过CDS差分抵消。
• 暗电流（Dark Current）：热激发电子，I_dark ≈ I₀ · e^{−E_a/(kT)}，随温度与曝光时间增长；导致暗场亮度上升与噪声。
• DSNU/PRNU：暗场固定不均匀（偏置）与光照非均匀（增益）；需标定并补偿。
• 总SNR近似：SNR ≈ N_e / √( N_e + σ_read^2 + (I_dark·Texp)^2 )。

5. 读出链路（行列驱动、CDS、列并行ADC）

• 行扫描驱动像素转移与选通，列端进行采样保持与CDS差分以去除复位噪声与FPN。
• 列并行ADC（常见SAR/ΣΔ）提升帧率与分辨率；双增益ADC配合DCG实现HDR。
• 位深：RAW10/12/14/16取决于ADC与链路；位深提升有利于高光与低噪声表征。

6. 快门方式（Rolling vs Global）

• Rolling Shutter：逐行曝光与读出，优点是功耗低、帧率高；缺点是快速运动/闪烁下的几何扭曲与条纹。
• Global Shutter：全局同步曝光与读出，避免畸变；像素增加存储节点与复杂性，成本/噪声可能更高。

7. 光学前端（微透镜、CFA、IR-cut、OLPF）

• 微透镜（Microlens）：提高入射光收集效率，减少金属遮挡造成的填充因子损失。
• CFA（Color Filter Array）：常见Bayer（RGGB/GRBG等），定义每像素的谱段响应；后续依赖去马赛克重建RGB。
• IR-cut：阻红外提升色彩准确度；部分应用移除IR-cut以做夜视（配合IR照明）。
• OLPF（Optical Low Pass Filter）：抑制高频纹理引起的摩尔纹；现代大像素/高分辨率场景常弱化或省略。

8. BSI vs FSI

• FSI（Front-Side Illuminated）：入射光穿过金属走线再到像素，填充因子受限。
• BSI（Back-Side Illuminated）：从背面入射，金属层在后方，QE更高、微透镜设计更自由，提升低照性能与角度响应。

9. HDR技术（多曝光、DCG、Staggered HDR、LFM）

• 多曝光融合（Multi-Exposure）：短/长曝光合成；运动场景需去鬼影与时序对齐。
• DCG（Dual Conversion Gain）：低转换增益+高转换增益采样组合，兼顾暗部噪声与高光容量。
• Staggered HDR：交错行曝光模式（短/中/长交错），提升帧率与兼容滚快门链路。
• LFM（LED Flicker Mitigation）：在LED照明下通过曝光相位与多曝光策略抑制条纹。

10. PDAF（相位检测像素）

• 在阵列中布置遮挡或相位移的特殊像素，比较左右子孔径信号的相位差估计焦点方向与量级。
• Cross-type与多方向PDAF提升对不同纹理方向的对焦鲁棒性；与对比度AF融合形成混合AF。

11. Quad Bayer/像素合并（Binning/Re-mosaic）

• Quad Bayer（2×2同色块）：
  • 合并（Binning）：将2×2同色像素合并提高SNR（SNR ∝ √n），降低分辨率、提升低照性能与帧率。
  • Re-mosaic：在充足光照下重排恢复高分辨率，依赖高级去马赛克与插值算法。

12. 增益与曝光控制（ISO与噪声权衡）

• 暴光三角：快门（时间）/光圈（镜头端）/增益（ISO，传感器端）；移动设备固定光圈，多依赖快门与增益。
• 模拟增益提升亮度同时放大读出噪声；数字增益仅放大数值不改善SNR但影响链路动态。
• 高ISO策略：增强NR、降低锐化、优先静态区域TNR以避免涂抹与拖影。

13. 温度与暗电流影响

• 暗电流随温度显著增长（常见每8–10°C翻倍）；长曝光与高温场景需加重暗场NR与坏点抑制。
• 热像素与随机电荷事件在长曝光更显著，需时域过滤与插值替换。

14. 标定与评估（BL/DSNU/PRNU/LSC/OECF/MTF/QE）

• 黑电平（BL）：暗场测量各通道偏置，运行时插值补偿。
• DSNU/PRNU：暗/亮场测量增益与偏置不均匀，建立位置相关模型应用于ISP。
• LSC（Lens Shading Correction）：均匀光场下估计增益图，按焦距/光圈/温度插值。
• OECF：灰阶卡映射曲线指导Tone与AE目标设置；线性/非线性段识别。
• MTF与SFR：斜边/Siemens星评估清晰度与系统响应；配合去马赛克与锐化调参。
• QE与光谱响应：测量随波长的转换效率，指导AWB/CCM与红外策略。

15. 时序与接口（MIPI CSI-2、RAW10/12/16）

• 帧/行时序：行时间（row time）、水平/垂直消隐（hblank/vblank）、曝光窗口与读出窗口（ROI）。
• MIPI CSI-2：多lane串行接口，按RAW10/12/16打包；带宽与帧率受lane速率与分辨率/位深共同约束。

16. 功耗与可靠性（热像素、老化）

• 功耗来源：像素读出、模拟前端、ADC、MIPI接口；低功耗模式与行/帧跳采样（skipping/ROI）。
• 热像素与老化：长期高温/辐射可能增加坏点与暗电流；出厂与运行时的坏点屏蔽策略确保可靠性。

---

附：常用公式与换算

• Shot噪声：σ_shot = √N_e；SNR_shot = √N_e
• 复位 kTC 噪声：σ_V = √(kT/C)；CDS差分抵消
• 动态范围：DR ≈ 20·log10(FWC / NoiseFloor)
• 暗电流温度模型：I_dark ≈ I₀ · e^{−E_a/(kT)}
• 转换增益：CG ≈ 1/C_FD；e⁻/DN 通过标定获得

---

结语

图像传感器的工作原理涵盖像素级的电荷产生与读出、链路级的噪声抑制与模数转换、系统级的HDR/AF/PDAF等功能与时序管理。理解像素架构与噪声模型、掌握标定与评估方法，并结合ISP的降噪/去马赛克/色彩处理，才能在复杂场景下实现稳定、自然与高保真的成像表现。