跳到正文 Yaphet⌁desk ← 桌面
desk / 2026-W39 / tgif / 2026-09-24 Friday reading

TGIF AI 2026.09.24

从单次推理到分布式系统的性能工程阅读路径

Cover image for TGIF AI 2026.09.24

从单次推理到分布式系统的性能工程阅读路径

https://github.com/wafer-ai/gpu-perf-engineering-resources Wafer 维护一份 AI 性能工程资源库,从单次推理讲到单卡、内核、推理引擎与分布式。入口建议先读推理缩放、Transformer 计算与 CUDA 基础。其后覆盖矩阵乘、FlashAttention、KV cache、量化、NVIDIA/AMD/TPU。

播客谈 Jev:难的是可靠完成普通工作,不是聊天

https://www.latent.space/p/jev?showTranscript=true Latent Space 发布了与 TypeSafe CEO Diogo Almeida 的长访谈,时长约 2 小时 20 分。页面回顾他作为 InstructGPT 合作者的长期观点:API 上的前沿模型被聊天路线带走,对齐、拒绝和可靠性都跟着这条路收窄。Jev 被放在相反的位置,服务可靠的生产判断,而不是上帝视角的通用聊天。页面提出的矛盾是,模型能解决极难的问题,仍不能稳定自动化普通工作。

智谱用 GLM-5.3 智能体搭好十万加速器推理栈

https://z.ai/blog/glm-built-its-inference-infrastructure 智谱写了一篇推理基础设施复盘。GLM-5.3-Flash 的生产推理跑在超过 10 万个国产加速器上。显存和带宽有限,还要支持新架构、100 万上下文和多模态。大量工作由 GLM-5.3 驱动的 Infra Agent 完成,不是只靠基础设施工程师。模型从适配到可生产用了不到两周,端到端吞吐约为初始基线的三倍。它曾以 Ox-Alpha 在 OpenCode 和 OpenRouter 上测试,六天处理超过 62 万亿 token。

claude.ai 两周提速约三倍,新开页面从 3.1 秒降到 0.55 秒

https://claude.dev/blog/how-we-made-claude-ai-faster 今年 8 月,Anthropic 用两周把 claude.ai 和桌面应用的核心体验加快约 3 倍。他们盯住占用户活动 95% 的四条路径。第 75 百分位上,全新打开到可输入从 3.1 秒降到 0.55 秒。新开 Claude Code 会话从 0.8 秒降到 0.3 秒。加载 Cowork 云会话从 2.6 秒降到 0.73 秒。测量和提交修改主要由 Claude Tag 完成,内部研究模型大致相当于 Opus 5.5。人设定目标、做取舍,并批准每一次改动。两周合并 3000 多次改动,没有面向用户的事故或回滚。