Product
1. Herdr 0.9 把多台机器收进同一客户端
Herdr 发布 0.9.0。此前每台机器要单独开一个客户端,Agent 跑数小时就得记住它在哪台机器上。新版本把外层 UI 渲染挪到客户端,服务器仍拥有会话和终端画面。用 herdr machine add 加上 SSH 目标后,远程工作区、标签页和 Agent 与本地出现在同一 TUI 里,断开后远程 Agent 继续跑。官方称下载量已超 70 万、插件近 1000。限制也很明确:机器必须 SSH 可达;Agent CLI 仍只看见单台服务器上的 Agent。下一步想做跨机器协作和 Herdr Cloud,用账号把沙箱、虚拟机和自有机器连起来,终端流量端到端加密。
来源:Herdr
2. Grok Bot 市场开放,机器人可一键导入
xAI 上周在 Grok Bot 上线 Bot Marketplace。别人做好的机器人可以一键导入侧栏,马上开聊。入口是 Marketplace 再进 Bots,官方和社区模板都在架上。官方货架覆盖写作、高管支持、客户电话、拓客、设计评审和项目运营。社区热门包括按偏好生成机器人的 dr eggbot、带引用的 Researchy、看近 30 天舆论的 last30days,以及把 API 变成插件的 tinkabot。产品形态已经从“一个 Grok”变成“可分发的机器人货架”。尚未说明审核、分成和企业治理怎么做。
来源:Grok Bot Marketplace is live!
3. PR Lens 把每个 PR 画成可播放的架构图
Coldtea 开源 PR Lens:每个 pull request 被画成动画架构图和数据流,直接评论进 PR。它标出爆炸半径,绿是新增、琥珀是改动、红是删除;数据流按步骤播放。评论里分层折叠,也可打开全尺寸画布平移缩放。可用 GitHub App、Action、CLI,或 npx skills add coldteadotai/pr-lens 让编码 Agent 来画。开源仓库免费。配置写在 .github/pr-lens.yml,用 overlay 做重命名和排除,避免每次改生成的 SVG。它要解决的是 Agent 制造的 PR 人已经读不完。
来源:GitHub
Tutorial
1. PagedAttention:按页分配 KV 显存
Akshay 把 vLLM 的 PagedAttention 写成一份可跟做的讲解。旧做法按 max_token_size 给每个请求预留整块连续显存,短生成也占满,碎片让新请求排空等,vLLM 测过 60% 到 80% 的 KV 显存被浪费。PagedAttention 把 KV 切成默认 16 token 的物理块,逻辑块填满才分配,注意核按块表散集。浪费上限是一块未填满的尾巴,可降到 4% 以下,吞吐因此提高 2 到 4 倍。模型权重和注意力算法不变,改的是服务端怎么发内存。这是把操作系统分页搬进推理引擎的标准课。
2. 去掉 Fable 5.1 书面腔的一条可复用指令
Anthropic 给 Claude Fable 5.1 准备了一段反书面腔指令,elvis 做成可练习的写作课。Fable 容易把句子写长、一段塞太多意思,并用隐喻替换直说。指令先定义 mannered prose,再举“a dial worth turning”这类表演性短语,要求有字面说法就用字面说法。它比“写简洁”有效,因为指出了要删什么、换成什么。短指令可以只说 Please remove all mannered prose。elvis 发现同一段也对 GPT-5.6 Sol 有用。课里还给出客户通知的改写对照,方便做成编辑规则。
来源:Write better with Claude Fable 5.1 | DAIR.AI Academy | DAIR.AI Academy
3. 推理工程要补的数学:从浮点到稳定 softmax
vixhal 写了一份 AI 推理工程数学路线图,从数字精度讲起。浮点由符号、指数、尾数构成;FP32、FP16、BF16、FP8 的差别就是位数怎么分。FP16 指数只有 5 位,容易溢出成无穷;BF16 保住 FP32 的范围、丢掉精度,所以现代训练更常用。INT8/INT4 间距固定,必须另备 scale。长向量在 FP16 里累加会漂,快速核通常用 FP32 做运行总和。还要懂 epsilon、相消,以及 softmax 先减最大值再指数。作者说自己就是卡在量化模型输出乱码,才回头补这些。
来源:X Article
4. Ultrascale Playbook 讲清大规模训练
Hesamation 推荐 The Ultrascale Playbook,认为它是讲清大规模 LLM 训练的最好技术书之一。覆盖 GPU 显存与 profiling,tiling、kernel fusion、FlashAttention,以及 Data、Tensor、Pipeline、Context 四种并行。他读过免费在线版,仍买了纸书。在线阅读入口是 Hugging Face 上 nanotron/ultrascale-playbook 这个 Space。它适合已经会训小模型、要跨到多机多卡的人,而不是入门科普。书把工程选择写成可对照的手册,而不是概念清单。
来源:@Hesamation
5. 笔记本本地跑 LFM2.5 实时语音转写
Liquid AI 更新了完全本地的音频转写 CLI,演示改用 LFM2.5-Audio-1.5B,经 llama.cpp 在笔记本上提供服务。仓库在 Liquid4All/cookbook 的 audio-transcription-cli。用 uv 装依赖,下载样例后 uv run transcribe 即可,首次自动下模型。—play-audio 可边放边转,—quantization 用精度换速度和体积。作者强调这是给手机、车机和智能家居的边侧方案,不依赖云。它证明小音频模型加本地推理已经够做实时转写,而不必等云端 API。
来源:GitHub
6. Addy 的三层代码审查:人只看爆炸半径
meng shao 转述 Addy Osmani 的审查策略。编码 Agent 让 PR 爆炸,人不可能通读。第一层:每个 PR 先过多智能体初审,找 bug、验证、按严重度排序并给修复;批准仍是人。第二层:爆炸半径小、不碰敏感逻辑的改动,初审干净就可以过,用来消化长尾数量。第三层:核心路径必须有 owner 和人类签字,人的时间花在验证、约束和建立对 Agent 覆盖范围的信任,并保持可回滚。Agent 负责第一遍,人负责爆炸半径。这是审查制度,不是新工具。
来源:@shao__meng


