英伟达技术博客· Dan Feigin·· 50 分钟前AI 评分58
NVIDIA 发布开源组件 Snapshot,可在数秒内启动和恢复 GPU 工作负载
Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot
摘要/原文摘录
NVIDIA 发布 NVIDIA Snapshot,这是 NVIDIA DSX AI Factory Platform 的新开源组件,可让已初始化的 GPU 工作负载在推理副本之间复用,从而加快启动和恢复速度。原文指出,当推理需求激增或副本故障时,可用的 GPU 并不会立即转化为服务能力,LLM 工作负载的初始化(冷启动)可能耗时数分钟。
来源:英伟达技术博客 · developer.nvidia.com