NVIDIA 发布 AI 推理平台

这篇 NVIDIA 博客发布于 2025 年 1 月 23 日，主题是 NVIDIA AI 推理平台如何帮助 Microsoft、Oracle、Perplexity、Snap 等公司在生成式 AI 部署上同时降低成本与延迟。文章把推理工作定义为一组需要在 throughput 与用户体验之间精细权衡的步骤，核心目标朴素：在更低成本下生成更多 token。NVIDIA 推理栈由 NIM 微服务、Triton Inference Server 以及 TensorRT 库组成，NIM 提供面向云端、数据中心、边缘乃至工作站的开箱模型部署，Triton 作为开源项目支持任意 AI 框架训练的模型，TensorRT 则承担运行时与模型优化以降低延迟。

博客列举多组生产案例量化效果。Perplexity AI 用 NVIDIA H100 + Triton + TensorRT-LLM 支撑每月 4.35 亿次查询，靠 model parallelism 把推理成本压到原来的三分之一；Amdocs 在 amAIz telco 平台使用 NIM，让数据预处理 token 消耗下降 60%，推理阶段下降 40%，查询延迟降低约 80%；Snap 的 Screenshop 把 TensorFlow 与 PyTorch 流水线统一到 Triton 之上，引入 TensorRT 后吞吐提高 3 倍，估算成本下降 66%；Wealthsimple 将模型上线时长从数月压到 15 分钟以内，实现 99.999% 可用率，年处理 1.45 亿笔交易；Oracle OCI Vision AI 引入 Triton 后吞吐提升 76%、延迟降低 51%。

硬件侧，Hopper 平台相比上一代在推理工作负载上的能效提升达 15 倍，Blackwell 架构十年间把每个 token 的推理能耗压缩了十万分之一；Grace Hopper Superchip 通过 NVLink-C2C 串联 Grace CPU 与 Hopper GPU，Meta Andromeda 借此在广告检索环节获得 8% 广告质量与 6% 召回率改善，特征抽取相比 CPU 方案快 100 倍。整条 NVIDIA 推理栈整合进 AI Enterprise 软件平台，并通过 SageMaker、Vertex AI、Azure AI Foundry、OCI Data Science 等渠道分发，对希望部署 LLM 的企业用户来说，路径相对清晰。