本文基于八股精 2025-2026 年约 3908 条 AI 算法与模型研发岗真实面试记录，统计出字节跳动、百度、快手、腾讯、京东、Shopee 等公司的常考知识点与高频真题，帮助准备算法岗面试的同学看清各家考察侧重，把有限的时间花在刀刃上。

写在前面：这份数据能告诉你什么

如果你正在准备大模型 / AI 算法岗的校招或社招，大概率会有这种困惑：八股内容浩如烟海，到底该优先啃哪一块？不同公司的考察风格一样吗？

这份基于 约 3908 条 2025-2026 年真实面试记录的统计，可以给你一个相对客观的答案。先说三个跨公司的整体结论：

1. Transformer 与注意力机制是绝对的"通用货币"：本次统计的 6 家公司中，全部 6 家都将 Transformer 和注意力机制列入常考知识点，无一例外。
2. 强化学习 + 对齐算法成为第二梯队热点：强化学习、PPO 算法在 6 家公司中均有出现；百度、Shopee 还额外高频考察 DPO，说明"大模型对齐"已从加分项变成基础项。
3. 低秩适应（LoRA）几乎人手必问：6 家公司的常考知识点里都出现了低秩适应或模型微调，微调方向的工程理解是区分候选人层次的关键。

下面按代表题量降序，逐家拆解考察侧重与代表真题。

---

一、字节跳动（代表题量 636）：从原理到应用的"全链路拷问"

核心结论：题量断层领先，考察覆盖最广——从 Transformer 底层机制、强化学习到推荐系统、AUC 评估指标，字节的题目横跨"模型原理—训练方法—业务落地"全链路。

常考知识点：Transformer、注意力机制、强化学习、低秩适应、推荐系统、PPO 算法、大语言模型、AUC

真题示例（按被问次数 Top 3）：

• 阐述 decoder-only 结构中，从输入 prompt 到输出 token 的整个处理过程
• 什么是大语言模型的幻觉？有哪些常见方法可以减轻该问题？
• 在 Transformer 中，多头注意力机制的本质是什么？头数如何影响模型性能？

得分点与避坑：字节的第一道题非常典型——它不问"什么是 Transformer"，而是要求你完整走一遍数据流：tokenize → embedding → 位置编码 → 多层带因果掩码的注意力 → 输出 logits → 采样策略。回答这类题最忌背概念，建议按"输入是什么、每一步变成什么形状、输出是什么"的方式口述，体现你真正拆解过推理流程。幻觉题则考察工程视野，可以从数据质量、RAG 检索增强、RLHF/DPO 对齐、解码约束几个层面展开。

---

二、百度（代表题量 383）：对齐算法是最大特色，微调细节问得深

核心结论：6 家公司中对 RLHF / PPO / DPO 的对齐技术差异考得最细，同时在小样本微调场景（过拟合/欠拟合）上有明显的实战导向。

常考知识点：注意力机制、Transformer、低秩适应、强化学习、推荐系统、PPO 算法、DPO、多头注意力机制

真题示例（Top 3）：

• 训练样本量极少的场景下，如何解决 LoRA 微调中容易出现的过拟合或欠拟合问题？
• 对比 RLHF、PPO、DPO 的技术差异、优缺点及适用场景
• PPO 和 DPO 在大模型对齐阶段的主要区别是什么？

得分点与避坑：三道 Top 题里有两道直接指向 PPO vs DPO，这在其他公司并不常见——如果你面百度文心相关业务，这一块必须能答出本质区别：PPO 需要单独训练奖励模型、在线采样、训练不稳定但可控性强；DPO 跳过显式奖励模型，直接用偏好数据做类似分类的优化，实现简单、训练稳定，但对偏好数据质量敏感。小样本 LoRA 题则建议从秩 r 的选择、dropout、学习率、数据增强、正则化等角度分层回答，避免只答"加数据"。

---

三、快手（代表题量 372）：LoRA 与"大模型全生命周期"是招牌题

核心结论：对 LoRA 的追问深度全场最高，且喜欢用"全流程梳理题"考察候选人的体系化认知。

常考知识点：Transformer、注意力机制、强化学习、推荐系统、低秩适应、大语言模型、PPO 算法、模型微调

真题示例（Top 3）：

• 请说明 LoRA 的原理，并解释如何理解"低秩"（为什么秩 r 远小于原矩阵的维度 d）
• 请从头到尾梳理大模型的完整生命周期：训练、微调、量化、剪枝、蒸馏、部署、分布式全流程
• LoRA 和全参数微调的核心区别是什么？显存和训练效率上各有什么优劣？

得分点与避坑：Top 3 中两题围绕 LoRA，且问法层层递进——先问原理，再问"为什么低秩可行"（可结合大模型微调时权重更新量 ΔW 具有低内在秩的假设来回答），最后对比全参微调的显存/效率账。第二道"生命周期题"是典型的开放大题，答不全比答错更致命，建议提前画一张流程图记忆：预训练 → SFT → 对齐 → 压缩（量化/剪枝/蒸馏）→ 分布式部署 → 评估迭代，每个环节准备 1-2 句核心要点即可撑住追问。

---

四、腾讯（代表题量 333）：偏爱数学原理，问到 √dk 这种细节

核心结论：题目数学味最浓，喜欢追问"为什么这样设计"，且常考知识点中出现混合专家模型（MoE），与其他公司形成差异。

常考知识点：Transformer、注意力机制、强化学习、低秩适应、PPO 算法、大语言模型、混合专家模型、多头注意力机制

真题示例（Top 3）：

• 自注意力机制中为什么要除以 √dk？能否用其他值 a 代替？请从数学原理角度说明
• 对比 Encoder-Only 和 Decoder-Only 结构，纯文本理解场景哪种更优？
• 介绍你对大模型微调的了解，以及 QLoRA 的原理

得分点与避坑：√dk 这道题是检验"是否真懂注意力"的经典题——核心逻辑是：q·k 的点积随维度 dk 增大而方差变大，softmax 会进入梯度极小的饱和区，除以 √dk 是将方差归一到 1 附近。追问"能否用其他值 a 代替"时，要答出"可以但需匹配方差缩放的目标，√dk 是与假设（q、k 各分量独立、均值 0 方差 1）对应的自然选择"。另外腾讯是唯一在常考知识点中列出 MoE 的公司，面腾讯建议补一课专家路由与负载均衡。

---

五、京东（代表题量 246）：注意力变体 + 训练稳定性

核心结论：对注意力机制的工程变体（MHA/MQA/GQA）考察最突出，同时关注训练中的梯度问题，整体偏"能上手干活"的工程素养。

常考知识点：Transformer、注意力机制、强化学习、低秩适应、PPO 算法、模型微调、大语言模型、推荐系统

真题示例（Top 3）：

• MHA、MQA、GQA 的原理及区别是什么？
• Transformer 的每一层通常实现哪些核心功能？
• 大模型训练过程中，如何处理梯度消失或梯度爆炸问题？

得分点与避坑：MHA/MQA/GQA 一题的题眼在 KV Cache 显存：MQA 所有头共享一组 K/V，推理显存最省但可能损失表达能力；GQA 分组共享，是两者的折中，也是当前主流大模型的选择。梯度消失/爆炸题建议按"归一化（LayerNorm/RMSNorm）+ 残差连接 + 梯度裁剪 + 合理初始化 + 学习率调度"的清单式结构回答，条理清晰比堆术语更加分。

---

六、Shopee 虾皮（代表题量 110）：SFT 数据设计 + 基础功底对比题

核心结论：题量相对较少（样本量有限，结论参考性弱于前五家），但题目特色鲜明：既问 SFT 数据集设计这类落地问题，也问 Transformer vs RNN、LayerNorm vs BatchNorm 这类经典对比题。

常考知识点：注意力机制、Transformer、PPO 算法、DPO、强化学习、推荐系统、低秩适应、模型微调

真题示例（Top 3）：

• 若通过监督微调（SFT）提升大模型能力，你会如何设计数据集与微调流程？
• Transformer 相较于 RNN、LSTM，为什么能实现更好的并行化？
• LayerNorm 和 BatchNorm 在训练时梯度计算有何本质区别？

得分点与避坑：SFT 设计题是开放实战题，建议从数据来源与清洗、指令多样性、质量筛选、配比策略、训练超参到评估集构建给出完整方案。并行化一题的关键句是：RNN 存在时间步上的串行依赖，Transformer 的自注意力让所有位置同时计算，去掉序列方向的依赖。LayerNorm vs BatchNorm 则抓住"归一化维度不同（特征维 vs batch 维），LN 不依赖 batch 统计量，因此更适合变长序列和小 batch 场景"这一本质区别。

---

备考建议：结合数据的 5 条可操作路线

1. 把 Transformer / 注意力机制当成第一优先级：6 家公司全部覆盖，投入产出比最高。不要停在"背结构图"，要能手推 self-attention 计算、解释 √dk 缩放、说清 MHA/MQA/GQA 差异——腾讯、京东的真题都问到这一层。
2. LoRA / 微调专题必须成体系：百度、快手、腾讯、Shopee 的 Top 真题都直接命中。按"LoRA 原理 → 为什么低秩 → 对比全参微调 → QLoRA → 小样本场景调优"这条线整理，基本可以覆盖所有追问路径。
3. 对齐算法（RLHF/PPO/DPO）单独开一个专题：PPO 出现在全部 6 家的常考知识点中，DPO 在百度、Shopee 被重点考察。至少准备一张"三者对比表"（是否需要奖励模型、在线/离线、稳定性、数据需求、适用场景）。
4. 准备一道"全生命周期"大题的答案框架：快手真题已经证明这类开放题的存在。提前把训练→微调→压缩→部署→分布式的每个环节各写 2-3 句要点，面试时按框架展开，避免想到哪说到哪。
5. 按目标公司做差异化补强：投字节补推荐系统与 AUC、幻觉治理；投腾讯补 MoE 与数学推导；投京东补训练稳定性与工程实践；投 Shopee 补 SFT 数据设计与经典对比题。样本较少的公司（如 Shopee）结论参考性有限，仍建议以通用主线为主、特色题为辅。

数据来源于八股精（AI算法与模型研发）约 3908 条真实面试记录，覆盖 2025-2026；结论基于统计，仅供参考。