time-to-first-token
https://github.com/patchy631/time-to-first-token 一个为期10周、每天30分钟的LLM推理服务与优化学习路线图。它引导学习者从理解roofline模型和算术强度等基础知识出发,逐步掌握vLLM与SGLang的部署与内部机制,建立测量与监控体系,进行量化、推测解码与KV驱逐等优化实验,并最终构建一个面向成本、延迟与质量的智能路由服务。文档还强调了负载测试的重要性,并提供了一个可供复现的基准测试框架,帮助学习者将理论转化为可部署、可优化的生产级服务。
Agentic Coding: Bet on the Primitives
https://www.robinwieruch.de/agentic-coding-bet-on-primitives/ 文章通过图表组件案例,阐述了智能体编码如何大幅降低实现劳动成本,使“租用高层库”的旧权衡失效。作者提出应转向无观点的原语加团队自有的薄自定义层,以精确匹配需求并避免与库的冲突。同时承认通用UI、无障碍需求等场景下成熟库仍更优。核心结论是:智能体编码未改变选型启发式,但将交叉点显著推向原语一侧,未来最有价值的代码层正是团队基于原语自主构建的薄层。
How Cursor Router chooses the right model for the task
https://cursor.com/cn/blog/how-cursor-router-works?v=2 Cursor Router 采用数据驱动方式,通过 Compass 模型预测每轮任务的复杂度,并结合从真实流量中学到的任务、领域和修饰符分类,为任务匹配最合适的模型。它有两种配置:Auto Intelligence 和 Auto Balance,分别侧重性能与成本。结果显示,相比单独使用前沿模型,Router 在保证甚至提升用户满意度的同时大幅降低成本,并随新模型加入持续优化。
Building the Future of coding, OpenCode with Dax Raad
https://www.youtube.com/watch?v=IGsbARhERqc 摘录两个观点:
- “不再手写代码”的说法被夸大了
- 很多大佬声称自己”已经不写一行代码了”,Dax 觉得这话很让人困惑。
- 他自己的体验:简单的迭代功能确实可以完全交给 agent,但做新设计、探索性工作时,手写代码本身就是思考过程——写 types、试文件夹结构、试函数组合,这是他搞清楚”该做什么”的方式。
- 他认为这些”全 AI”声明背后有心理偏差:人们害怕被淘汰,所以倾向于夸大自己对新工具的拥抱程度。检验标准很简单:用他们用 AI 做出来的产品,通常并不怎么样。
- 代码质量:AI 时代反而更重要了
- 反直觉的观点:他们的代码库现在比以往任何时候都干净。
- 原因:LLM 无法区分”旧写法”和”新写法”,如果代码库里有混乱的模式,LLM 会照着旧模式生成垃圾代码。所以现在更有动力建立统一的、明确的模式。
- Dax 管这叫”我们现在雇了一群白痴(LLM)——它们工作很努力、有照片级记忆,但不理解’我们有更好的做法’这种概念”。
- 他承认自己不会逐行审查所有 AI 生成的代码,但对风险高的区域会更仔细。成熟的、模式稳定的区域,他会快速扫一眼。