从GelSight到ThinTact：触觉感知的“瘦身革命”与无透镜成像的底层逻辑

在机器人试图模仿人类触觉的漫长征程中，我们似乎一直面临着一个根本性的矛盾：感知的精细度与传感器的物理尺寸。想象一下，你试图让一个机器人灵巧地穿针引线，或者在一个堆满杂物的抽屉底部精准地捏起一枚钥匙。人类的指尖之所以能完成这些任务，不仅因为其丰富的神经末梢，更因为其紧凑的形态——直径不过十几毫米，却能整合压力、纹理、形状乃至温度的多模态信息。反观机器人领域，过去十年里，以GelSight为代表的视觉触觉传感器取得了巨大成功，它们通过高清摄像头观察弹性体表面的微观形变，将“触摸”转化为“看见”，实现了媲美人类的纹理识别与三维几何重建能力。然而，一个无法回避的瓶颈始终存在：那套复杂的光学透镜系统。透镜决定了焦距，焦距限制了厚度，最终，这些性能强大的传感器往往变得“笨重”，难以集成到空间拮据的机器人指尖、夹爪内腔或精密的手术器械末端。这就像给一位钢琴家戴上了厚重的拳击手套，感知能力再强，也失去了施展的空间。直到“无透镜成像”这项看似来自计算摄影领域的技术，为触觉传感器带来了一场彻底的“瘦身革命”，将厚度压缩到10毫米以下，同时保持了卓越的性能。这不仅仅是尺寸的缩小，更是一次从“光学成像”到“计算成像”的范式转移，其背后的算法黑科技，值得我们深入探究。

1. 触觉传感器的“阿喀琉斯之踵”：为何厚度成为关键瓶颈

要理解无透镜技术的革命性，首先得看清传统视觉触觉传感器的核心约束在哪里。以经典的GelSight及其衍生品为例，其工作原理堪称巧妙：一层透明的硅胶弹性体作为皮肤，表面覆盖有反光涂层；当物体接触并按压这层“皮肤”时，表面的微观图案（通常是随机喷涂的斑点）会随之变形；底部配置的彩色LED从不同角度照明，摄像头透过透明基底捕捉这些变形图案；最后，通过计算机视觉算法（如光度立体视觉）解算出接触表面的三维形变、法向力乃至滑动信息。

这套流程的核心部件之一是摄像头及其前方的透镜组。透镜的作用是将弹性体表面的变形图像清晰地聚焦到CMOS图像传感器上。问题就出在这里：

• 焦距决定厚度：根据光学原理，透镜要成清晰的像，其与成像面（CMOS）之间的距离必须大于或等于焦距。对于需要高分辨率观察微米级形变的触觉传感器，这个焦距很难被无限压缩。
• 空间占用：透镜本身、固定透镜的镜筒、以及为避免杂散光干扰而设计的遮光结构，共同占据了传感器内部的大量垂直空间。
• 系统复杂度：多片透镜组用于矫正像差，进一步增加了成本和装配难度。

这就导致了一个尴尬的局面：传感器的有效感知面积（直径可能20-30毫米）受限于机器人指尖尺寸，但其厚度（往往超过20毫米，甚至30-40毫米）却严重超标。在诸如精密装配、内窥手术、多指灵巧手、狭窄环境抓取等场景中，过厚的传感器要么根本无法安装，要么会严重改变工具末端的动力学特性，影响操作的灵巧性和反馈的实时性。

注意：这里所说的“厚度”瓶颈，并非指传感器无法做薄，而是指在不牺牲空间分辨率、视场角和成像质量的前提下，基于透镜的系统存在物理极限。一些研究尝试使用更小的镜头（如手机摄像头模组），但往往以牺牲视场或引入畸变为代价。

因此，学术界和工业界一直在寻找一种能够“绕过”透镜物理限制的成像方法。无透镜成像（Lensless Imaging）便是在这样的需求驱动下，从计算成像领域被引入到触觉感知的前沿。

2. 无透镜成像：扔掉透镜，用算法“计算”出图像

无透镜成像的基本思想大胆而直接：既然透镜是为了让光线有序地聚焦，那我们能否记录下所有无序到达的光线信息，然后通过数学计算，反向推演出原始场景是什么样子？答案是肯定的。其核心部件是一个编码掩膜（Mask） 和一个紧贴其后的图像传感器（CMOS）。

工作原理简述：

1. 编码：来自场景的光线，首先通过一个放置在传感器前方的掩膜。这个掩膜上布满了微小的、不透明的图案（如随机分布的小孔或特定的光栅结构）。光线穿过掩膜时，其强度分布被掩膜的图案所调制（即“编码”），形成一副看似杂乱无章、充满噪点的混合图像。
2. 记录：这幅混合图像直接落在紧贴掩膜的CMOS传感器上被记录下来。由于没有透镜聚焦，图像是模糊且全局混叠的，单凭人眼无法识别任何有意义的内容。
3. 解码（重建）：这是最关键的一步。由于我们精确知道掩膜的图案（即编码方式），我们可以建立一个从原始场景到观测图像的前向物理模型。通过求解这个模型的逆问题，即从观测到的混乱图像中，反向计算出最有可能产生该图像的原始场景。这个过程高度依赖于计算重建算法。

与传统成像的对比，可以用一个简单的表格来理解：

特性	传统透镜成像	无透镜成像
核心部件	透镜组	编码掩膜
成像原理	几何光学聚焦	物理调制 + 计算重建
系统厚度	受焦距限制，较厚	仅掩膜厚度（可<1mm），极薄
景深	有限，需要调焦	极大，甚至可以是无限景深
信息记录	直接记录清晰图像	记录经过编码的混合信息
后期处理	相对简单，主要是增强	必须经过复杂计算重建
优势	成像质量高、实时性好、技术成熟	超薄、大景深、可设计特殊编码
劣势	体积厚、有畸变、焦距固定	重建计算量大、图像质量依赖算法、可能引入重建伪影

对于触觉传感器应用，无透镜方案的优势是压倒性的：它允许我们将CMOS传感器几乎紧贴着触觉表面（仅隔着一层薄薄的掩膜和弹性体），将整个传感器的厚度压缩到10毫米以内，同时保留了通过图像分析触觉信息的全部潜力。清华大学徐静教授团队提出的ThinTact，正是这一思路的杰出代表。

3. ThinTact的核心黑科技：实时重建算法与掩膜优化

直接将通用的无透镜成像技术用于触觉感知，会面临两个严峻挑战：重建速度和重建质量。触觉反馈要求毫秒级的响应，而传统的无透镜重建算法（如基于迭代优化的算法）计算耗时可能长达数秒。此外，在触觉传感器这种极近的工作距离下，通用的掩膜设计会导致重建图像质量严重下降。ThinTact的创新，正是针对这两点做了深度优化。

3.1 频域-空域联合滤波：实现非迭代实时重建

传统重建算法（如压缩感知迭代算法）需要反复迭代求解大型线性方程组，计算负担极重。ThinTact提出了一种基于离散余弦变换（DCT） 的非迭代重建算法，其核心思想是“分而治之”。

算法将观测到的混乱图像 Y，通过一个精心设计的频域-空域联合滤波器，分解为两部分：

1. 欠编码成分 Yo：这部分包含了图像中编码信息较少、主要由低频分量组成的部分。在频域中，低频分量相对稳定，受编码掩膜的随机扰动较小，因此可以较容易地分离出来。
2. 富编码成分 Yc：用原始观测图像 Y 减去 Yo 得到，即 Yc = Y - Yo。这部分包含了被掩膜高度调制、信息丰富的细节成分。

妙处在于，对于 Yc 这部分，研究者发现可以在近距离成像模型下，推导出一个近似的解析解。这意味着，不需要迭代，直接通过一系列矩阵运算（主要是DCT及其逆变换）就能快速计算出对应的原始场景部分。

算法流程简化表示：

观测图像 Y
    ↓
[频域-空域联合滤波器]
    ↓
得到欠编码成分 Yo
    ↓
计算富编码成分 Yc = Y - Yo
    ↓
对 Yc 应用解析求解法 → 得到重建的富编码场景 Xc
    ↓
最终重建图像 X_hat = Yo + Xc

这种方法的重建速度比传统迭代算法快了近1000倍，从秒级提升到了毫秒级，完美满足了触觉传感器对实时性的苛刻要求。

3.2 基于遗传算法的掩膜优化：为触觉感知量身定制

掩膜图案决定了光线如何被编码，是影响重建质量的决定性因素。传统的无透镜系统常使用最大长度序列（MLS） 来生成掩膜，这种序列具有良好的数学自相关特性，在远距离成像中表现优异。

然而，在ThinTact这样的超薄传感器中，成像距离（从触觉表面到掩膜）极短，通常只有几毫米。在这种“近距离成像”模式下，光线传播的模型发生了变化，MLS掩膜的重建效果会急剧恶化，表现为图像信噪比（SNR）低、亮度不均匀、细节模糊。

为了解决这个问题，研究团队放弃了通用的掩膜设计准则，转而采用遗传算法（Genetic Algorithm） 来为触觉传感器“量身定制”最优掩膜。遗传算法是一种模拟自然进化过程的优化方法：

1. 初始化种群：随机生成一批（比如100个）不同的掩膜图案（每个图案是一个由0和1组成的矩阵，代表不透光和透光），作为第一代“个体”。
2. 适应度评估：为每个掩膜个体定义一个“适应度函数”。在这个场景下，函数的目标是最大化重建图像的质量。团队使用了一组标准测试图像（如纯白图像、GelSight捕获的真实触觉图像、分辨率板图像）作为目标，用当前掩膜和重建算法进行模拟成像和重建，然后计算重建图像与目标图像之间的峰值信噪比（PSNR） 和结构相似性指数（SSIM） 作为质量指标。PSNR和SSIM越高，该掩膜的“适应度”越好。
3. 选择、交叉、变异：
   • 选择：保留适应度高的优秀个体，淘汰差的个体。
   • 交叉：将两个优秀个体的掩膜图案进行部分交换，产生新的“后代”个体。
   • 变异：随机改变某个个体掩膜中少量像素的状态，引入新的变化。
4. 迭代进化：重复步骤2和3，经过数十代甚至上百代的进化，种群中的掩膜图案会朝着“在近距离成像下能产生最高质量重建图像”的方向不断优化。

为了加速这个耗时的优化过程（因为每评估一个个体都需要进行多次重建计算），团队还创新性地直接从掩膜参数向量生成系统矩阵，避免了每次评估都重新进行复杂的物理仿真，将优化时间控制在可接受的范围内。

经过优化后的掩膜，在重建USA 1951分辨率板等测试图像时，其PSNR和SSIM指标相比传统MLS掩膜有显著提升，图像边缘更清晰，细节更丰富，为后续的触觉信息提取打下了坚实基础。

4. 从像素到触觉：形变解析与狭小空间应用实战

得到高质量的重建图像只是第一步。对于触觉传感器，最终目标是从这些图像中解析出有物理意义的触觉信息：三维形变、接触力、纹理、滑动。ThinTact沿用了成熟的技术路径来完成这一步。

表面形变计算：

1. 光度立体视觉：ThinTact使用了多个不同颜色的LED（如红、绿、蓝）从不同角度照明。当弹性体表面因接触而发生倾斜时，不同方向的光源在其上反射的强度会发生变化。通过分析同一场景点在不同颜色通道（对应不同光源）下的亮度值，可以解算出该点的表面法向量。对所有像素点进行积分，即可重建出整个接触区域的三维几何形貌。
2. 标记点跟踪：在弹性体与掩膜之间，有一层带有随机斑点的反射膜。当表面发生形变时，这些斑点会在重建图像中产生位移。通过跟踪这些特征点的移动，可以计算出表面的二维剪切位移场，这对于检测物体的滑动至关重要。

狭小空间操作演示： 论文中展示了一个极具说服力的应用案例：在密集排列的试管架中抓取并插入试管。

• 场景约束：试管直径20毫米，试管架孔径22毫米，相邻试管之间的间隙仅有12毫米。这意味着夹爪（集成了ThinTact传感器）的厚度必须非常薄，才能在如此狭窄的空间内移动和调整姿态。
• 任务流程：
  1. 粗定位抓取：夹爪首先靠近目标试管并抓取。
  2. 触觉反馈调整：由于初始抓取可能存在偏差，试管轴心可能与夹爪中心不重合，或者与目标孔位不对准。ThinTact实时感知到接触力的分布和方向。
  3. 力伺服控制：控制系统根据触觉反馈，分析出需要施加的纠正力矩方向。
  4. 精细插入：夹爪在力控引导下进行微调，最终将试管精准地插入仅有1毫米余量的孔中。

这个任务完美凸显了ThinTact的核心价值：在传统基于透镜的传感器因厚度过大而根本无法进入的空间内，实现高精度的力感知和闭环控制。它不仅仅是“更薄了”，而是开启了机器人操作在微创手术、精密电子装配、复杂物品分拣等领域的全新可能性。

5. 未来展望：挑战、融合与更广阔的感知维度

无透镜触觉传感器如ThinTact，无疑为领域打开了一扇新的大门，但它的发展仍处于早期阶段，面临一些挑战，同时也孕育着更多的创新方向。

当前面临的挑战：

• 分辨率的理论极限：无透镜成像的分辨率理论上受限于掩膜特征尺寸和传感器像素大小，目前可能仍略低于高端透镜系统。如何通过算法和硬件协同设计进一步提升分辨率，是一个关键问题。
• 重建伪影：计算重建算法可能引入特定的噪声或伪影，尤其是在场景对比度极高或存在快速运动时。开发更鲁棒、更抗噪的重建模型是算法研究的重点。
• 多模态感知集成：目前主要关注几何形变。未来需要将温度感知、振动感知（用于识别材质） 等功能集成到同一个超薄平台中，实现真正类皮肤的多模态触觉。
• 大规模制造与标定：掩膜的微纳加工精度、传感器的一致性与批量标定方法，是走向实际工程应用必须跨越的鸿沟。

可能的融合与演进方向：

• 与柔性电子结合：将CMOS传感器替换或与柔性电子皮肤结合，制造出可弯曲、可拉伸的超薄触觉阵列，适用于不规则曲面，如机器人手掌或手指关节处。
• 事件驱动成像：采用事件相机（Event-based Camera）替代传统CMOS。事件相机仅响应亮度变化，具有超高动态范围、极低延迟和低功耗的特性，与无透镜成像结合，有望实现微秒级延迟的触觉感知，用于捕捉高速滑动或冲击。
• 嵌入式AI与片上重建：将重建算法（如轻量化的神经网络模型）直接部署在传感器内部的微型处理单元（如FPGA、专用AI芯片）上，实现“端侧智能”，减少数据传输延迟和带宽需求，提升系统整体响应速度和隐私性。
• 生物启发设计：深入研究人类皮肤触觉受体的分布与响应机制，设计非均匀的、具有不同空间敏感度的掩膜图案，让传感器在不同区域具备不同的“触觉敏锐度”，更高效地分配计算资源。

在我个人看来，ThinTact这类工作最令人兴奋的点，在于它打破了“高精度感知必须伴随复杂厚重硬件”的思维定式。它告诉我们，通过精巧的物理设计与强大的计算智能深度融合，完全可以在极端尺寸约束下实现不妥协的性能。这不仅仅是触觉传感器的进步，更是一种方法论上的启示：当硬件遇到物理极限时，算法和计算将成为突破瓶颈的新引擎。对于机器人开发者而言，这意味着我们未来设计的灵巧手或手术器械，将能更自然地融入触觉感知，让机器人的“手”真正变得灵巧而敏感。