标签：大模型

文章

• Agent 学习第 17 周：强化学习、分布式训练，和一次 3 分钟的 GRPO 训练

  在 4060 Ti 上用 GRPO 训练 Qwen2-0.5B 做算术题，3.1 分钟涨了 81 个点，再把涨幅拆成格式与算术两部分归因。

• Agent 学习第 16 周：大模型结构演进，以及直接读两个开源模型的源码

  从 2017 年的 Transformer 到 2026 年旗舰的四条演进线，并直接读 MiniMax-M2.7 与 MiMo-V2.5 的源码做结构解读。

• Agent 学习第 9 周：vLLM 与「71 倍」到底快在哪

  用 vLLM 跑出 71 倍吞吐，再把它拆开：约 2 倍来自算子优化，30 多倍来自连续批处理调度。

• Agent 学习第 6 周：文本分类，以及 LoRA 为什么赢了全参微调

  在 TNEWS 15 分类上做了七组对照实验，最反直觉的结果是只训 0.22% 参数的 LoRA 赢了全参微调。

• Agent 学习第 5 周：大语言模型初探

  从理解模型跨到生成模型：Causal Mask、SFT 与 Label Mask、五种采样策略、ICL 与 CoT，以及 API 断路器。