🎲 骰子AI:LLM辅助推荐系统心得分享

原文链接: Bilibili 专栏
编辑时间: 2024年09月06日 20:07
收录文集: LLM · 2篇
💡 建议结合视频阅读


📚 学习资料

资源链接
LLM4Rec-Awesome-PapersGitHub 仓库
Awesome-LLM-for-RecSysGitHub 仓库

一、传统推荐系统工程结构

┌─────────────────────────────────────┐
│           特征工程                   │
│    (Feature Engineering)            │
└─────────────┬───────────────────────┘
              ▼
┌─────────────────────────────────────┐
│            召  回                   │
│    (Candidate Generation)           │
└─────────────┬───────────────────────┘
              ▼
┌─────────────────────────────────────┐
│            排  序                   │
│    (Ranking / Scoring)              │
└─────────────────────────────────────┘

传统推荐系统架构


二、LLM替换排序模型

✅ 优势

优势点说明
构建简单无需复杂的特征工程和模型训练流程
可解释性能顺便得到推荐解释(自然语言形式)
冷启动友好少量交互量数据下效果好于传统模型

❌ 劣势

劣势点说明
响应慢LLM推理延迟较高,难以满足实时性要求
效果瓶颈正常数据量下效果不如传统精排模型
优化困难效果提升空间有限,难以持续迭代

🔍 构建简单详细说明

LLM排序模型架构

⚠️ 重要提示
如果LLM涉及到微调(Fine-tuning),则"构建简单"的优势将荡然无存:

  • 效果仍然很难比得上不断微调的专业推荐模型
  • 微调成本远大于传统模型
  • 响应时间同样无法减少

三、VectorDB辅助召回

🎯 结论:无劣势,可无脑使用

传统的召回中最显著有效的方法就是 Embedding 召回。

实施建议:

  • 假设已有训练好的 Embedding
  • 无脑将 Embedding 存入 VectorDB
  • 利用 VectorDB 进行高效的 Embedding 召回

四、LLM生成Embedding替换自训练Embedding模型

实现方式

  • 物品侧:将文本内容转换为 Embedding(简单直接)
  • 用户侧:利用 LLM 针对用户画像数据生成用户描述,再转为 Embedding

✅ 优势

优势点说明
构建简单无需训练专门的 Embedding 模型
冷启动友好少量交互量数据下效果好于传统模型

❌ 劣势

劣势点严重程度
正常数据量下效果不如传统模型⚠️ 不算致命

五、总结

LLM4Rec 总结

📊 总体评估

维度评价
✅ 总优势部署简单 · 可产生解释 · 适合冷启动
❌ 总劣势效果差 · 响应慢 · 大数据下成本差

💡 核心观点提炼

┌────────────────────────────────────────┐
│  LLM 在推荐系统中的最佳定位:           │
│                                        │
│  「 冷启动场景的利器,而非万能替代 」      │
│                                        │
│  - 适合:数据稀疏、需要解释性、快速上线    │
│  - 不适合:海量数据、高并发、极致精度      │
└────────────────────────────────────────┘

更多推荐