文章归档

18 周结课：全课能力地图、简历的 STAR 与量化写法、面试答题三段式，以及贯穿全程的三条方法论。

在 4060 Ti 上用 GRPO 训练 Qwen2-0.5B 做算术题，3.1 分钟涨了 81 个点，再把涨幅拆成格式与算术两部分归因。

从 2017 年的 Transformer 到 2026 年旗舰的四条演进线，并直接读 MiniMax-M2.7 与 MiMo-V2.5 的源码做结构解读。

分清 GraphRAG 与 Graph Engineering，再实测并行 subagent：墙钟时间 -53%，token 却 +2%——省的是时间不是钱。

让模型写 skill 再优化它，token 降了 45%；但一次「完全符合预期」的对比结论，真相是我自己的量尺有 bug。

自己写一个渐进式加载 skill 的 harness：首轮 token 比全量加载少 6.6 倍，也避免了无关 skill 干扰判断。

给 ReAct Agent 加上多轮记忆和分层压缩，上下文从线性增长变为有界；还揪出一处让模型选错工具的描述缺陷。

把工具调用从单轮改成循环，发现关键不在 while，而在把工具拆成可组合的原子工具：单轮 0/4，循环 4/4。

混合检索、RRF 融合、重排与 RAGAS 评估全链路跑一遍，在自己的 PDF 上有三条结论和课上讲的方向相反。

用 vLLM 跑出 71 倍吞吐，再把它拆开：约 2 倍来自算子优化，30 多倍来自连续批处理调度。

双塔负责召回、交互式负责精排；先用 Jaccard 字面基线校准，再看 BiEncoder 与 CrossEncoder 的真实差距。

用 BERT + CRF 做中文 NER：为什么必须用实体级 F1，以及 CRF 的 +0.58pp 到底算不算赢。

在 TNEWS 15 分类上做了七组对照实验，最反直觉的结果是只训 0.22% 参数的 LoRA 赢了全参微调。

从理解模型跨到生成模型：Causal Mask、SFT 与 Label Mask、五种采样策略、ICL 与 CoT，以及 API 断路器。

从 N-gram 到 BERT，再手写一个 Transformer 层，把 L×L 注意力矩阵里的每个数字算明白。

Adam、Embedding、CNN、RNN/LSTM、池化、归一化、Dropout 逐个跑一遍，看清每个组件的输入输出形状。

从损失函数、梯度下降到反向传播，手敲四个小脚本加一个多分类作业，把深度学习的数学地基打牢。

从 Java 后端转向 AI Agent：梳理 AI 行业全景，搞清楚机器学习到底在学什么。