技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
31 条精选近 30 天 31 条共收录 243 条
开源项目 nv-uefi-unlocker 发布可从 USB 启动的 UEFI 工具，在 Windows 和 Linux 上解锁 NVIDIA 对 RTX 20、30、40 系桌面与笔记本 GPU 的 tensor 半速限制，无需刷 VBIOS 或改驱动。开发者自己的 RTX 4060 笔记本 FP16 矩阵乘性能提升 65%，实测案例中 RTX 4080 达 1.91 倍。
对A股开源工具绕过英伟达限制提升消费级GPU算力，对英伟达链中性偏利好（推断），短期或影响高端产品定位（推断）
推荐理由：原文整理了工具的解锁原理、兼容卡列表和实测提升幅度，读者可据此判断自己的 RTX 显卡是否值得尝试。
Tom's Hardware 发布一篇 LLM 术语入门，解释模型、权重、数据类型与量化、上下文窗口、KV cache、MoE、RAG 及推理的 Prefill 和 Decode 两阶段。文中指出 KV cache 可在同一会话内复用但可能占用超过模型本身的 VRAM，长上下文存在 lost in the middle 效应，Decode 速度通常受内存带宽而非算力限制，并介绍了 Speculative Decode 和 MTP 等加速技术。
推荐理由：文章面向本地部署读者，把权重、量化、KV cache、MoE 和推理两阶段等术语逐一拆解，可作为阅读硬件与模型新闻前的概念铺垫。
DigiTimes 报道称，Anthropic 在 S-1 文件中披露的多平台资源池策略向 AI 芯片行业释放重要信号。该公司同时使用 Amazon Trainium、Google TPU、Nvidia GPU 和 AMD GPU，通过软件将不同伙伴的算力整合为统一资源池，并按任务需求在各芯片平台间分配。
推荐理由：原文解释了 Anthropic S-1 披露的多平台算力池做法，有助于理解芯片厂商议价能力面临的软件层变化。
北京市人民政府印发《北京市"十五五"时期新型能源体系规划》，要求统筹能源资源与算力布局协同，新建算力中心100%使用绿电。规划还提出推进算力、通信基站和机房等基础设施节能降碳改造，存量数据中心电源使用效率（PUE）达到1.35以下，单位算力能效和碳效达到国际先进水平。
推荐理由：规划同时给出新建算力中心绿电要求和存量数据中心 PUE 1.35 以下的量化目标，可据此观察算力布局的用能约束。
DigiTimes称，谷歌TPU业务一周内新增一家确认的大客户Oracle和一家传闻客户OpenAI（媒体报道）。英伟达GPU仍主导AI算力，但大买家正寻找替代方案。
对A股AI算力链而言，ASIC与TPU配套环节关注度或上升
推荐理由：材料把TPU新增客户与英伟达GPU主导地位放在一起看，可据此观察大客户分散算力供应的动向。
当地时间10月27日，甲骨文与谷歌宣布，谷歌张量处理单元（TPU）将接入甲骨文云基础设施（OCI），甲骨文将成为谷歌以外首家提供谷歌TPU的超大规模云服务商。该服务预计于2027年推出，多年内逐步扩大规模，支持大模型训练、推理及智能体应用；谷歌第八代TPU包括面向训练的TPU 8t和面向推理的TPU 8i。
推荐理由：原文交代了合作双方、服务时间和TPU代际分工，读者可以据此了解谷歌TPU云外供给的格局变化。
据财联社报道，英伟达与甲骨文宣布扩大合作，计划将OCI超级集群扩展至基于NVIDIA Vera Rubin NVL72系统的多吉瓦规模，NVIDIA Vera Rubin NVL72与Vera CPU现已在OCI上全面可用。合作核心是让客户可独立扩展CPU和GPU资源，分别覆盖GPU密集型的训练推理与智能体在模型调用之间的CPU密集型任务，以减少闲置容量、提升基础设施利用率。
推荐理由：合作细节来自财联社报道，看点在于OCI将CPU与GPU资源解耦扩展以匹配智能体与训练推理两类负载的思路。
据Trendforce援引供应链消息，台积电正考虑将CoWoS先进封装价格上调最高20%，原因是AI需求导致产能吃紧、设备交期拉长，台积电尚未证实。设备交期已由3至6个月延长到最长8个月，2nm和3nm等先进制程晶圆价格或上涨5%至10%。
推荐理由：文中把CoWoS涨价与设备交期、测试时长和晶圆涨价放在一起，便于判断AI芯片成本上行的来源。
Nvidia 在 GTC Berlin 宣布与 Ibiden、Unimicron、三星电机、SPIL、Amkor、KYEC 等供应链伙伴签下数十亿美元产能协议，覆盖基板、先进封装、测试和共封装光学光引擎。计划三年内专属基板产能提升至 2.5 倍，Amkor 中介层晶圆产能到 2028 年底提升 300% 以上，并以 11 亿美元预订 KYEC 美国新厂测试产能。
推荐理由：文章把基板、光引擎、封装和测试四类瓶颈与对应扩产数字放在一起，便于看清AI芯片供应链哪些环节最紧。
DigiTimes 报道，澳洲建设亚太 AI 基础设施枢纽的进程受制于电网接入最后一公里和输电线路沿线社区许可。NextDC 因墨尔本 M3 数据中心电力接入延迟，下调 2027 财年营收预测并削减资本支出，该项目原本已有超大规模客户签约。
推荐理由：原文以 NextDC 下调营收预测为例，说明电网接入和社区许可正成为 AI 数据中心扩张中资金无法直接解决的瓶颈。
财联社10月27日报道，美国银行、黑石、花旗和摩根士丹利等机构正与博通合作设立一项总额630亿美元的AI融资安排，为AI算力提供资金。博通将为该特殊目的实体（SPV）的第一留置权债务部分提供残值支持；从2027年开始，博通将通过该SPV供应XPU AI加速器，随后租赁给Anthropic使用。
推荐理由：财联社报道博通牵头的630亿美元AI融资安排，涉及SPV结构、XPU加速器供应与租赁给Anthropic的安排。