https://www.mizenix.com/blog A blog about my thoughts, notes, and things I learn along the way. https://www.mizenix.com/blog/async-rl-dlc LLM 强化学习里，采样用 vLLM、算梯度用训练框架，两边的概率天然对不上；异步采样又让权重版本落后。论文 arXiv:2610.40945 把这份误差精确拆成“数值差异”和“策略滞后”两部分，说明为什么一个修正在量化场景好用、在异步场景却会崩，并给出 DLC：居中数值差异、裁剪滞后比值、ESS 低于 1/2 时重同步采样器。本文逐步推导，并给出一份 PyTorch 风格的 loss 实现草稿。 2026-11-02T00:00:00.000Z https://www.mizenix.com/blog/harness 模型只会生成文本。Harness 是把其中一部分文本变成工具调用、真正执行，再把结果送回模型的那一层运行时。 2026-11-02T00:00:00.000Z https://www.mizenix.com/blog/RSC React Server Components (RSC) in Next.js are components that render exclusively on the server, making them the default component type in the App Router. 2026-10-12T00:00:00.000Z https://www.mizenix.com/blog/D1 The easiest way to add SQL to your application 2026-10-06T00:00:00.000Z https://www.mizenix.com/blog/wrangler 如何搭建一个真实一点的 API：我的 Worker 是什么、要连接哪些 Cloudflare 资源、不同环境怎么隔离、怎么部署 2026-09-16T00:00:00.000Z