High-performance deep spiking neural networks with 0.3 spikes per neuron

TTFS编码的SNN与ReLU转换

• 编码公式
  $$t_j^{(0)}=t_{\text{max}}^{(0)}-{\tau }_c{x}_j^{(0)}$$

  • $x_j^{(0)}\in [0,1]$：归一化的像素强度（0最暗，1最亮）
  • $t_{\text{max}}^{(0)}$：输入层允许的最晚发放时间
  • ${\tau }_c$：时间转换参数（将无量纲输入转换为时间单位）
  • $t_j^{(0)}$：第j个输入神经元的脉冲时间
  • 当 $x_j^{(0)}=1$（最亮像素）：$t_j^{(0)}=t_{\text{max}}^{(0)}-{\tau }_c$ → 最早发放
  • 当 $x_j^{(0)}=0$（最暗像素）：$t_j^{(0)}=t_{\text{max}}^{(0)}$ → 最晚发放（或按论文说明：不发放）

• 双区段神经元模型

  • 微分方程（公式1）
    $${\tau }_c\frac{\mathrm{d}{V}_i^{(n)}}{\mathrm{d}t}=\{\begin{array}{ll}{A}_i^{(n)}+{\sum }_j{W}_{ij}^{(n)}H(t-t_j^{(n-1)})& \text{for }t<t_{\min }^{(n)}\\ B_i^{(n)}& \text{for }{t}_{\min }^{(n)}\le t\le t_{\max }^{(n)}\end{array}$$
    分阶段详细推导

    阶段一：异步累积期 ($t<t_{\min }^{(n)}$)

    方程：
    $${\tau }_c\frac{d{V}_i^{(n)}}{dt}=A_i^{(n)}+\sum _j{W}_{ij}^{(n)}H(t-t_j^{(n-1)})$$
    Heaviside函数的作用：
    $$H(t-t_j)=\{\begin{array}{ll}0& \text{if }t<t_j\\ 1& \text{if }t\ge t_j\end{array}$$
    物理过程：

    1. 初始状态：膜电位变化率 = $A_i^{(n)}/{\tau }_c$
    2. 脉冲到达时：当输入脉冲在 $t_j$ 时刻到达，变化率瞬间增加 $W_{ij}^{(n)}/{\tau }_c$
    3. 累积效应：膜电位变化率随时间不断调整，反映输入脉冲的异步到达

    数学推导：
    对时间积分可得膜电位：
    $$V_i^{(n)}(t)=\frac{1}{{\tau }_c}\left[A_i^{(n)}t+\sum _j{W}_{ij}^{(n)}(t-t_j^{(n-1)})H(t-t_j^{(n-1)})\right]$$
    阶段二：线性冲刺期 ($t_{\min }^{(n)}\le t\le t_{\max }^{(n)}$)

    方程：
    $${\tau }_c\frac{d{V}_i^{(n)}}{dt}=B_i^{(n)}$$
    物理意义：
    在 $t=t_{\min }^{(n)}$ 时刻，无论当前膜电位是多少，变化率强制切换为固定值 $B_i^{(n)}/{\tau }_c$

    数学推导：
    $$V_i^{(n)}(t)=V_i^{(n)}(t_{\min }^{(n)})+\frac{B_i^{(n)}}{{\tau }_c}(t-t_{\min }^{(n)})$$
    这是一个纯线性增长过程。

  • 时间边界的设计

    递归定义
    $$t_{\min }^{(n)}\stackrel{\text{def}}{=}{t}_{\max }^{(n-1)}$$

    • 第n层只能在第n-1层处理完成后开始计算

  • 阈值定义
    $${\vartheta }_i^{(n)}={\tilde{\vartheta }}_i^{(n)}-D_i^{(n)}$$
    其中 $D_i^{(n)}$ 是可训练参数，提供灵活性。

  • 发放时间计算

    发放时间 $t_i^{(n)}$ 是满足以下条件的解：
    $$V_i^{(n)}(t)={\vartheta }_i^{(n)}\text{且}{t}_{\min }^{(n)}\le t\le t_{\max }^{(n)}$$
    由于第二阶段是线性的，可以解析求解：
    $$t_i^{(n)}=t_{\min }^{(n)}+\frac{{\tau }_c}{B_i^{(n)}}\left[{\vartheta }_i^{(n)}-V_i^{(n)}(t_{\min }^{(n)})\right]$$

• 建立SNN与ReLU的映射关系

  • 简化：

    • 设 $A_i^{(n)}=0$（简化第一阶段动力学）
    • 但保持 $B_i^{(n)}$ 为任意值（保持模型通用性）

    这样第一阶段方程变为：
    $${\tau }_c\frac{d{V}_i^{(n)}}{dt}=\sum _j{W}_{ij}^{(n)}H(t-t_j^{(n-1)})\text{for }t<t_{\min }^{(n)}$$

  • 定义变量：
    $$x_i^{(n)}=\frac{t_{\max }^{(n)}-t_i^{(n)}}{{\tau }_c}$$

    • $t_i^{(n)}$：第n层神经元i的脉冲时间
    • $t_{\max }^{(n)}-t_i^{(n)}$：距离截止时间的剩余时间
    • 除以其时c：将时间转换为无量纲的"激活值"

    重要性质：

    • 脉冲时间越早 ($t_i^{(n)}$ 越小) → $x_i^{(n)}$ 越大
    • 不发放脉冲 ($t_i^{(n)}$ 不存在) → $x_i^{(n)}=0$

  • 阶段二膜电位动态（关键阶段）

    在 $t\in [t_{\min }^{(n)},t_{\max }^{(n)}]$ 期间：
    $${\tau }_c\frac{d{V}_i^{(n)}}{dt}=B_i^{(n)}$$
    积分得：
    $$V_i^{(n)}(t)=V_i^{(n)}(t_{\min }^{(n)})+\frac{B_i^{(n)}}{{\tau }_c}(t-t_{\min }^{(n)})\text{\hspace{1em}(3)}$$
    发放时刻条件

    在 $t=t_i^{(n)}$ 时，膜电位达到阈值：
    $$V_i^{(n)}(t_i^{(n)})={\vartheta }_i^{(n)}$$
    代入公式(3)：
    $${\vartheta }_i^{(n)}=V_i^{(n)}(t_{\min }^{(n)})+\frac{B_i^{(n)}}{{\tau }_c}(t_i^{(n)}-t_{\min }^{(n)})\text{\hspace{1em}(4)}$$

  • 第一阶段膜电位计算

    在 $t_{\min }^{(n)}$ 时刻，膜电位来自第一阶段的累积：
    $$V_i^{(n)}(t_{\min }^{(n)})=\frac{1}{{\tau }_c}\sum _j{W}_{ij}^{(n)}(t_{\min }^{(n)}-t_j^{(n-1)})H(t_{\min }^{(n)}-t_j^{(n-1)})$$
    由于 $t_{\min }^{(n)}=t_{\max }^{(n-1)}$，且对于所有有效输入都有 $t_j^{(n-1)}<t_{\min }^{(n)}$，所以Heaviside函数都为1：
    $$V_i^{(n)}(t_{\min }^{(n)})=\frac{1}{{\tau }_c}\sum _j{W}_{ij}^{(n)}(t_{\min }^{(n)}-t_j^{(n-1)})\text{\hspace{1em}(5)}$$

  • 将公式(5)代入公式(4)：
    $${\vartheta }_i^{(n)}=\frac{1}{{\tau }_c}\sum _j{W}_{ij}^{(n)}(t_{\min }^{(n)}-t_j^{(n-1)})+\frac{B_i^{(n)}}{{\tau }_c}(t_i^{(n)}-t_{\min }^{(n)})$$
    两边乘以 ${\tau }_c$：
    $${\tau }_c{\vartheta }_i^{(n)}=\sum _j{W}_{ij}^{(n)}(t_{\min }^{(n)}-t_j^{(n-1)})+B_i^{(n)}(t_i^{(n)}-t_{\min }^{(n)})\text{\hspace{1em}(6)}$$
    引入ReLU激活变量：

    回忆定义：

    • $x_j^{(n-1)}=\frac{t_{\max }^{(n-1)}-t_j^{(n-1)}}{{\tau }_c}=\frac{t_{\min }^{(n)}-t_j^{(n-1)}}{{\tau }_c}$
    • $x_i^{(n)}=\frac{t_{\max }^{(n)}-t_i^{(n)}}{{\tau }_c}$

    代入公式(6)：
    $${\tau }_c{\vartheta }_i^{(n)}=\sum _j{W}_{ij}^{(n)}({\tau }_c{x}_j^{(n-1)})+B_i^{(n)}[(t_{\max }^{(n)}-{\tau }_c{x}_i^{(n)})-t_{\min }^{(n)}]$$
    整理：
    $${\tau }_c{\vartheta }_i^{(n)}={\tau }_c\sum _j{W}_{ij}^{(n)}{x}_j^{(n-1)}+B_i^{(n)}(t_{\max }^{(n)}-t_{\min }^{(n)})-B_i^{(n)}{\tau }_c{x}_i^{(n)}$$
    得到ReLU形式的方程：

    重新排列项：
    $$B_i^{(n)}{\tau }_c{x}_i^{(n)}={\tau }_c\sum _j{W}_{ij}^{(n)}{x}_j^{(n-1)}+B_i^{(n)}(t_{\max }^{(n)}-t_{\min }^{(n)})-{\tau }_c{\vartheta }_i^{(n)}$$
    两边除以 $B_i^{(n)}{\tau }_c$：
    $$x_i^{(n)}=\sum _j\frac{W_{ij}^{(n)}}{B_i^{(n)}}{x}_j^{(n-1)}+\frac{t_{\max }^{(n)}-t_{\min }^{(n)}}{{\tau }_c}-\frac{{\vartheta }_i^{(n)}}{B_i^{(n)}}\text{\hspace{1em}(7)}$$

  • 映射公式的最终形式

    公式(7)正好是ReLU网络的前向传播公式：
    $$x_i^{(n)}=\sum _j{w}_{ij}^{(n)}{x}_j^{(n-1)}+b_i^{(n)}$$
    其中：

    • ReLU权重： $w_{ij}^{(n)}=\frac{W_{ij}^{(n)}}{B_i^{(n)}}$
    • ReLU偏置： $b_i^{(n)}=\frac{t_{\max }^{(n)}-t_{\min }^{(n)}}{{\tau }_c}-\frac{{\vartheta }_i^{(n)}}{B_i^{(n)}}$

    这正是论文中的公式(2)

  • 输出层的特殊处理

    对于输出层 $N+1$（不发放脉冲）：

    • 允许 $A_i^{(N+1)}\ne 0$
    • 映射公式简化为： $w_{ij}^{(N+1)}=W_{ij}^{(N+1)}$
    • 偏置： $b_i^{(N+1)}=(t_{\max }^{(N)}-t_{\min }^{(N)})A_i^{(N+1)}$

• 梯度消失/爆炸问题

  • 链式法则分解（公式3）
    $$\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{W}^{(n)}}=\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{V}^{(N+1)}}\cdot \frac{\mathrm{d}{V}^{(N+1)}}{\mathrm{d}{t}^{(N)}}\cdot \frac{\mathrm{d}{t}^{(N)}}{\mathrm{d}{t}^{(N-1)}}\cdots \frac{\mathrm{d}{t}^{(n+1)}}{\mathrm{d}{t}^{(n)}}\cdot \frac{\mathrm{d}{t}^{(n)}}{\mathrm{d}{W}^{(n)}}$$
    梯度可以看作多个雅可比矩阵的连乘：
    $$\text{梯度}\propto J^{(N)}\cdot J^{(N-1)}\cdots J^{(n+1)}\cdot J^{(n)}$$
    其中 $J^{(k)}=\frac{\mathrm{d}{t}^{(k)}}{\mathrm{d}{t}^{(k-1)}}$ 是层间脉冲时间的雅可比矩阵。

  • 雅可比矩阵的解析推导（公式4）

    核心结果：
    $$\frac{\mathrm{d}{t}^{(n)}}{\mathrm{d}{t}^{(n-1)}}=M^{(n-1)}\cdot \frac{1}{B^{(n)}}\cdot W^{(n)}=M^{(n-1)}{w}^{(n)}$$
    详细推导过程：

    步骤1：回顾脉冲时间关系

    从之前的推导我们知道，对于发放的神经元：
    $$t_i^{(n)}=t_{\min }^{(n)}+\frac{{\tau }_c}{B_i^{(n)}}\left[{\vartheta }_i^{(n)}-V_i^{(n)}(t_{\min }^{(n)})\right]$$
    而 $V_i^{(n)}(t_{\min }^{(n)})=\frac{1}{{\tau }_c}{\sum }_j{W}_{ij}^{(n)}(t_{\min }^{(n)}-t_j^{(n-1)})$

    步骤2：计算偏导数

    对 $t_k^{(n-1)}$ 求偏导：
    $$\frac{\partial t_i^{(n)}}{\partial t_k^{(n-1)}}=-\frac{{\tau }_c}{B_i^{(n)}}\cdot \frac{\partial V_i^{(n)}(t_{\min }^{(n)})}{\partial t_k^{(n-1)}}\cdot \frac{1}{{\tau }_c}$$
    由于 $\frac{\partial V_i^{(n)}(t_{\min }^{(n)})}{\partial t_k^{(n-1)}}=-W_{ik}^{(n)}$（当 $t_k^{(n-1)}<t_{\min }^{(n)}$ 时）

    所以：
    $$\frac{\partial t_i^{(n)}}{\partial t_k^{(n-1)}}=\frac{W_{ik}^{(n)}}{B_i^{(n)}}$$
    步骤3：引入掩码矩阵 $M^{(n-1)}$

    定义对角掩码矩阵：
    $$M_{ij}^{(n-1)}={\delta }_{ij}H(t_{\max }^{(n-1)}-t_i^{(n-1)})$$
    意义：

    • 如果神经元 $j$ 在 $t_{\max }^{(n-1)}$ 之前发放 → $M_{jj}^{(n-1)}=1$
    • 如果神经元 $j$ 不发放 → $M_{jj}^{(n-1)}=0$

    步骤4：完整的雅可比矩阵
    $$\frac{\mathrm{d}{t}^{(n)}}{\mathrm{d}{t}^{(n-1)}}=M^{(n-1)}\cdot \frac{1}{B^{(n)}}\cdot W^{(n)}$$
    其中 $\frac{1}{B^{(n)}}$ 是对角矩阵，元素为 $1/B_i^{(n)}$。

  • 与ReLU网络的类比

    • 在ReLU网络中，前向传播为：
      $$x^{(n)}=\text{ReLU}(W^{(n)}{x}^{(n-1)}+b^{(n)})$$
      雅可比矩阵为：
      $$\frac{\mathrm{d}{x}^{(n)}}{\mathrm{d}{x}^{(n-1)}}=D^{(n)}{W}^{(n)}$$
      其中 $D^{(n)}$ 是对角矩阵，元素为ReLU的导数（0或1）。

    • 在TTFS网络中：

      • $M^{(n-1)}$ 对应 $D^{(n)}$（活性掩码）
      • $\frac{1}{B^{(n)}}{W}^{(n)}$ 对应 $W^{(n)}$（权重矩阵）

    • 特征值分析

      梯度的大小取决于雅可比矩阵连乘的谱半径（最大特征值的模）：
      $$\text{梯度幅度}\propto \prod _{k=n}^N\rho (J^{(k)})$$
      其中 $\rho (J^{(k)})$ 是第k层雅可比矩阵的谱半径。

    • 在标准ReLU网络中，主要关注权重矩阵 $W^{(n)}$ 的特征值。

      但在TTFS网络中，雅可比矩阵为：
      $$J^{(n)}=M^{(n-1)}\cdot \frac{1}{B^{(n)}}\cdot W^{(n)}$$
      关键问题：特征值受到 $\frac{1}{B^{(n)}}$ 的强烈影响！

      假设 $W^{(n)}$ 的特征值为 ${\lambda }_W$，那么 $J^{(n)}$ 的特征值大约为：
      $${\lambda }_J\approx \frac{{\lambda }_W}{\beta }$$
      其中 $\beta$ 是 $B^{(n)}$ 的典型值。

    • 梯度问题的具体表现

      梯度爆炸条件

      如果 $|{\lambda }_W|>|\beta |$（即权重特征值大于B参数），则：
      $$|{\lambda }_J|>1\Rightarrow \prod _k|{\lambda }_J^{(k)}|\to \infty \text{(梯度爆炸)}$$
      梯度消失条件

      如果 $|{\lambda }_W|<|\beta |$（即权重特征值小于B参数），则：
      $$|{\lambda }_J|<1\Rightarrow \prod _k|{\lambda }_J^{(k)}|\to 0\text{(梯度消失)}$$

    • ReLU网络的标准解决方案

      通过精心设计权重初始化（如He初始化、Xavier初始化），确保 $\rho (W^{(n)})\approx 1$。

    • TTFS网络的额外挑战

      即使精心初始化 $W^{(n)}$，还需要同时控制 $B^{(n)}$ 使得：
      $$\rho \left(\frac{W^{(n)}}{B^{(n)}}\right)\approx 1$$
      这引入了额外的自由度和复杂性。

• 方案二：B1-模型 + 恒等映射（Identity Mapping）

  • 核心思想：

    设置 $B_i^{(n)}=1$，则：
    $$w^{(n)}=W^{(n)}$$

  • 对于B1-模型：
    $$J^{(n)}=M^{(n-1)}\cdot \frac{1}{1}\cdot W^{(n)}=M^{(n-1)}{W}^{(n)}$$
    这与标准ReLU网络的雅可比矩阵：
    $$J_{\text{ReLU}}^{(n)}=D^{(n)}{W}^{(n)}$$
    （其中 $D^{(n)}$ 是ReLU导数掩码）具有相同的特征值分布。

• 如何设置时间边界和基础阈值（初始化阶段）

  • 在深度TTFS网络中，需要为每一层设置合理的时间窗口 $[t_{\min }^{(n)},t_{\max }^{(n)}]$，确保：

    1. 所有活性神经元都能在窗口内发放
    2. 窗口不能太大，否则会增加不必要的延迟
    3. 需要自动适应不同层、不同数据分布的特性

  • 基本递归关系
    $$t_{\min }^{(n)}=t_{\max }^{(n-1)}$$
    这确保了层间顺序处理。

  • 步骤1：评估最大膜电位（公式16）

    在 $t=t_{\min }^{(n)}$ 时刻，计算所有神经元在所有训练样本上的最大膜电位：
    $${\tilde{V}}_0^{(n)}=(1+\zeta )\underset{\mu ,i}{\max }{V}_i^{(n)}(t_{\min }^{(n)})$$
    数学原理：

    • 遍历所有样本（μ）和所有神经元（i）：确保覆盖最坏情况
    • 安全裕量ζ：通常取0.5（50%的余量）
    • 物理意义：估计在 $t_{\min }^{(n)}$ 时刻可能出现的最大膜电位

  • 步骤2：计算时间窗口长度（公式17）
    $$t_{\max }^{(n)}\stackrel{\text{def}}{=}{t}_{\min }^{(n)}+{\tau }_c\cdot \frac{{\tilde{V}}_0^{(n)}}{B_0}$$
    参数说明：

    • $B_0=1$：参考斜率因子
    • ${\tau }_c$：时间转换参数
    • 物理意义：基于最大膜电位和固定斜率，估计所需的时间长度
    • 逻辑是：
      1. 我们观测到在 $t_{\min }^{(n)}$ 时刻，最大膜电位是 ${\tilde{V}}_0^{(n)}$
      2. 假设有一个"最迟钝的神经元"，它在 $t_{\min }^{(n)}$ 时刻膜电位为0
      3. 这个神经元要以斜率 $B_0$ 充电，需要多长时间才能达到某个阈值？
      4. 我们设置 $t_{\max }^{(n)}$ 来容纳这种最坏情况

  • 步骤3：设置基础阈值（公式18）
    $${\tilde{\vartheta }}_i^{(n)}\stackrel{\text{def}}{=}{B}_i^{(n)}\left(\frac{t_{\max }^{(n)}-t_{\min }^{(n)}}{{\tau }_c}\right)$$

    这不就是${\tilde{V}}_0^{(n)}$？又推回来了

    数学推导：

    从膜电位方程（阶段二）：
    $$V_i^{(n)}(t)=V_i^{(n)}(t_{\min }^{(n)})+\frac{B_i^{(n)}}{{\tau }_c}(t-t_{\min }^{(n)})$$
    设 $V_i^{(n)}(t)={\tilde{\vartheta }}_i^{(n)}$ 时发放，且希望在 $t=t_{\max }^{(n)}$ 时刻，即使是最弱的输入也能达到阈值：
    $${\tilde{\vartheta }}_i^{(n)}=V_i^{(n)}(t_{\min }^{(n)})+\frac{B_i^{(n)}}{{\tau }_c}(t_{\max }^{(n)}-t_{\min }^{(n)})$$
    但为了保守起见，假设 $V_i^{(n)}(t_{\min }^{(n)})=0$（最坏情况），得到：
    $${\tilde{\vartheta }}_i^{(n)}=\frac{B_i^{(n)}}{{\tau }_c}(t_{\max }^{(n)}-t_{\min }^{(n)})$$

• 训练过程中的时间窗口迭代策略与训练过程比较

  1. 初始化阶段：由最大膜电位决定
     在训练开始之前，网络需要一个初始的 $t_{max}^{(n)}$ 值。这个值是通过一种递归的方式设置的：

     • 首先，对于第 $n$ 层，模型会使用一部分训练数据来计算所有神经元在 $t_{min}^{(n)}$ 时刻所能达到的最大膜电位 $max(V_i^{(n)}(t_{min}^{(n)}))$。
     • 然后，基于这个最大的膜电位，并加上一个小的安全余量 $\zeta$，来计算出一个合适的 $t_{max}^{(n)}$。
     • 这个过程保证了在训练开始时，时间窗口 $[t_{min}^{(n)},t_{max}^{(n)})$ 足够大，能够容纳所有可能产生的发放脉冲。

     这个过程在补充材料的 Supplementary Note 2 中有详细描述 (第 63-93 行)。

  2. 训练阶段：通过迭代规则动态更新
     在训练过程中，网络的权重 $W$ 和其他参数会不断更新，这会导致神经元的脉冲发放时间 $t_i^{(n)}$ 发生变化。如果 $t_{max}^{(n)}$ 固定不变，可能会出现某些脉冲时间“跑出”了预设窗口的情况。

     • 为了解决这个问题，论文提出了一种自适应的更新规则（主论文中的公式(8)，第 290-294 行）。
       $$\Delta t_{\max }^{(n)}=\{\begin{array}{cc}\gamma \left(t_{\max }^{(n)}-{\min }_{i,\mu }{t}_i^{(n)}\right)-\left(t_{\max }^{(n)}-t_{\min }^{(n)}\right),& \text{ if }{t}_{\max }^{(n)}-t_{\min }^{(n)}<\gamma \left(t_{\max }^{(n)}-{\min }_{i,\mu }{t}_i^{(n)}\right)\\ 0,& \text{ otherwise }\end{array}\text{\hspace{1em}(8)}$$
       

     • 这个规则会在每个训练批次中检查：对于所有神经元和所有样本，最早的脉冲发放时间 $min(t_i^{(n)})$ 是否离 $t_{max}^{(n)}$ 太近了。

     • 如果发现脉冲时间过于集中在窗口的后半部分（即离 $t_{max}^{(n)}$ 太近），规则就会自动扩大 $t_{max}^{(n)}$，以保证有足够的空间，避免脉冲被截断。

     这个更新过程在主论文的 “Methods” -> “Adaptive t_max^(n) parameters” 部分和补充材料的 “Iterative updates during training” 部分有详细说明。

  总结一下：
  这两种方法是一个串联的过程。先用第一种方法（基于最大膜电位）来获得一个合理的初始 $t_{max}$ 值，然后在训练过程中，再用第二种方法（迭代更新）来动态地、自适应地调整 $t_{max}$，以适应网络参数的变化。

手推一下论文中具体的前向计算公式

设第 $n$ 层神统元 $i$ 的发放时间为 $t_i^{(n)}$ ，根据模型定义公式我们可以得到：

$$\frac{v_i^{(n)}}{{\tau }_c}=\sum _j{W}_{ij}^{(n)}\left(t_{\min }^{(n)}-t_j^{(n-1)}\right)+B_i^{(n)}\left(t_i^{(n)}-t_{\min }^{(n)}\right)$$

解得：$t_i^{(n)}={\tau }_c\frac{V_i^{(n)}}{B_i^{(n)}}+t_{\text{min }}^{(n)}+{\sum }_j\frac{W_{ij}^{(n)}}{B_i^{(n)}}\left(t_j^{(n-1)}-t_{\text{min }}^{(n)}\right)$
两边同减 $t_{\text{max }}^{(n)}$ 并将 $t_{\text{min }}^{(n)}$ 替换为 $t_{\text{max }}^{(n-1)}$ 得：
$$t_i^{(n)}-t_{\text{max }}^{(n)}={\tau }_c\frac{V_i^{(n)}}{B_i^{(n)}}+t_{\text{min }}^{(n)}-t_{\text{max }}^{(n)}+\sum _j\frac{W_{ij}^{(n)}}{B_i^{(n)}}\left(t_j^{(n-1)}-t_{\text{max }}^{(n-1)}\right)$$

对比形式 $X_i^{(n)}={\sum }_j{W}_{ij}{X}_j^{(n-1)}+b_i\Rightarrow \text{输入对应关系}$
现在将两边同消 $t_{\text{max }}^{(n)}$ ，将 ${\tau }_c=1,B_i^{(n)}=1$ 代入， $t_{\text{max }}^{(n-1)}$ 替回 $t_{\text{min }}^{(n)}$ ，有：
$$t_i^{(n)}=v_i^{(n)}+t_{\text{min }}^{(n)}+\sum W_{ij}^{(n)}\left(t_j^{(n-1)}-t_{\text{min }}^{(n)}\right)$$

由于 ${\tilde{V}}_i^{(n)}=B_i^{(n)}\left(\frac{t_{\text{max }}^{(n)}-t_{\text{min }}^{(n)}}{{\tau }_c}\right)(18)$ ，且 $B_i^{(n)}=1,{\tau }_c=1,V_i^{(n)}={\tilde{V}}_i^{(n)}-D_i^{(n)}$ ，
$\therefore V_i^{(n)}=t_{\text{max }}^{(n)}-t_{\text{min }}^{(n)}-D_i^{(n)}$ ，代入上式，有：
$$t_i^{(n)}=\sum W_{ij}^{(n)}\left(t_j^{(n-1)}-t_{\text{min }}^{(n)}\right)+\left(t_{\text{max }}^{(n)}-t_{\text{min }}^{(n)}-D_i^{(n)}\right)+t_{\text{min }}^{(n)}$$

消除上标得到当前层的前向：

$$t_i=W\left(t_j-t_{\text{min }}\right)+\left(t_{\text{max }}-t_{\text{min }}-D_i\right)+t_{\text{min }}.$$