Attention Mechanisms in LLMs, clearly explained
https://x.com/akshay_pachaar/article/2096215921568498042 本文系统梳理了大型语言模型中的注意力机制演进。从自注意力、交叉注意力、多头注意力（MHA）出发，针对KV缓存内存瓶颈，介绍了多查询注意力（MQA）、分组查询注意力（GQA）、多头潜在注意力（MLA）等压缩缓存的方法；FlashAttention通过分块计算减少显存访问；稀疏注意力降低计算复杂度；PagedAttention和RadixAttention从推理引擎层面优化内存分配与复用。全文以KV缓存压力为主线，对比了各技术的原理、优缺点及适用场景。
LLM 为什么缓存 K 和 V，却通常不缓存 Q？
https://x.com/dongxi_nlp/article/2098945504289669481 这篇文章用“The sky is blue.”把 prefill、decode 和 prefix caching 串起来。Prefill 给每个位置算出 K/V 并缓存；之后每个新 token 仍要算自己的 Q/K/V，但历史 Q 已完成该位置计算，普通 decode 不再用。改 prompt 开头会让后续表示失效，追加在末尾则通常可以沿用旧 cache，这来自因果注意力只能看前面。文中举例：24 层、8 个 KV head、head width 64、BF16 时，4096 位置约 192MiB，8192 位置约 384MiB。Prefix caching 省的是共同前缀的 prefill，不是新回答的 decode。后半还连到 DeepSeek-V4.1-Flash 的 encoder 全局 KV、跨层共享和共享 KV 表示。看懂这一层，再读 MLA 和跨层共享会顺很多。
TypeSafe 发布 Jev：不做聊天，专出带校准概率的结构化决策
https://typesafe.ai/blog/introducing-system-one-models-and-jev 参与过 ChatGPT 指令跟随研究的 Diogo Almeida 结束两年隐身，放出 TypeSafe 第一代 System One 模型 Jev。它用名为 RLCD 的方法训练，吃进程序状态，一次并行给出带校准概率的结构化结果，不生成字符串。官方称在这类任务上速度约 20 到 200 倍、成本约 40 到 400 倍于现有大模型。输入价约每百万 token 0.042 美元，输出不计费；端到端约 70 到 500 毫秒。公司称类型错误在数学上不可能。评测是自建工作流，对照 Astra 与 Fable 的平均概率。
我不得不把才华埋葬在昨天
https://mp.weixin.qq.com/s/zk0KxuLzhmMJ4LPYW_OHMA DeepSeek kernel 工程师刘胜与（interestingLSY）发长文。他做模型底层 kernel，DeepSeek V4.1 的 Main Attention kernel 有他的工作。判断是：AI 写算子的水平一旦高于自己，人不会立刻失业，但必须转业，可能再也做不了曾热爱的那份手艺。结语把未来写成两个极端：生产力大解放，或少数公司垄断先进 AI、形成必须先有最强模型才能跨越阶层的死循环，并反问若 Anthropic 永远掌握最强 AI 会落在哪边。