第四章 交叉结构

---

1 Factorized Machine（FM）

• 线性模型：$p=b+{\sum }_{i=1}^d{w}_i{x}_i$

• 二阶交叉特征：$p=b+{\sum }_{i=1}^d{w}_i{x}_i+{\sum }_{i=1}^d{\sum }_{j=i+1}^d{u}_{ij}{x}_i{x}_j$

  • 模型有$O(d^2)$个参数
  • 矩阵$U$表示所有$u_{ij}$的矩阵，令$U\approx V{V}^T$

• Factorized Machine（FM）：$p=b+{\sum }_{i=1}^d{w}_i{x}_i+{\sum }_{i=1}^d{\sum }_{j=i+1}^d（v_i^T{v}_j）x_i{x}_j$

  • 模型有$O(kd)$个参数（$k<<d$）

---

2 深度交叉网络（DCN）

2.1 交叉层（Cross Layer）

2.2 交叉网络（Cross Network）

2.3 深度交叉网络（Deep & Cross Network）

• 双塔模型的双塔、多目标模型中的Shared Bottom、MMoE中的专家模型

---

3 LHUC网络结构（精排）

LHUC起源于语音识别，快手将其应用在推荐精排，称为PPNet。

3.1 语音识别中的LHUC

• 神经网络的结果经过Sigmoid并乘2

3.2 推荐系统排序模型中的LHUC

• 将语音信号和说话者的特征分别替换为物品特征和用户特征

---

4 SENet & Bilinear Cross

4.1 SENet（Field-wise加权）

• Embedding向量维度可以不同

4.2 Field间特征交叉

• 特征交叉
  • 内积
  • Hadamard乘积

以上两种都要求特征维度相同

• Bilinear Cross
  • 内积：$f_{ij}=x_i^T{W}_{ij}{x}_j$（$m$个fields对应$m^2/2$个参数矩阵，需要指定某些特征做交叉，而非全部）
  • Hadamard乘积：$f_{ij}=x_i\odot (W_{ij}\cdot x_j)$

4.3 FiBiNet

全部）

• Hadamard乘积：$f_{ij}=x_i\odot (W_{ij}\cdot x_j)$

4.3 FiBiNet