AI INFRA 全景分析与展望
AI INFRA 全景分析与展望 深度调研日期：2026-06-24 | 来源：多源 Web 搜索 + 对抗验证（24 个搜索代理，15+ 源站，70+ 可验证 claims） 📐 全景架构定位图 ---|------| | 核心创新 | PagedAttention — OS 式虚拟内存分页管理 KV Cache，将显存碎片率从 40% 降至 ⚠️ 注意：vLLM 上游无法提供 day-0 R…
Topic
#LLM-Inference
2 篇笔记
本地大模型：从跑起来到跑得好
0. 太长不读很多人玩本地大模型，卡住的地方不是模型太复杂，而是不知道自己卡在哪一层。你以为是在跑一个模型，其实是在同时做五个决定：硬件、内存、Runtime、模型选择、量化。每一层都有坑，每一层都可以单独优化，但它们又互相约束。后面所有问题，基本都能归到这五层里。两条读法：如果...