Tom's Hardware· Bruno Ferreira ·· 11 天前精选AI 评分62
Tom's Hardware 科普大语言模型核心概念：KV cache、权重、量化与推理如何运作
A primer on key AI LLM concepts — KV cache, weights, quantization, and how inference actually works
摘要／原文摘录
Tom's Hardware 发布一篇 LLM 术语入门，解释模型、权重、数据类型与量化、上下文窗口、KV cache、MoE、RAG 及推理的 Prefill 和 Decode 两阶段。文中指出 KV cache 可在同一会话内复用但可能占用超过模型本身的 VRAM，长上下文存在 lost in the middle 效应，Decode 速度通常受内存带宽而非算力限制，并介绍了 Speculative Decode 和 MTP 等加速技术。
推荐理由
文章面向本地部署读者，把权重、量化、KV cache、MoE 和推理两阶段等术语逐一拆解，可作为阅读硬件与模型新闻前的概念铺垫。
来源：Tom's Hardware · tomshardware.com