标签：Transformer

文章

• Agent 学习第 16 周：大模型结构演进，以及直接读两个开源模型的源码

  从 2017 年的 Transformer 到 2026 年旗舰的四条演进线，并直接读 MiniMax-M2.7 与 MiMo-V2.5 的源码做结构解读。

• Agent 学习第 5 周：大语言模型初探

  从理解模型跨到生成模型：Causal Mask、SFT 与 Label Mask、五种采样策略、ICL 与 CoT，以及 API 断路器。

• Agent 学习第 4 周：语言模型与 Transformer

  从 N-gram 到 BERT，再手写一个 Transformer 层，把 L×L 注意力矩阵里的每个数字算明白。