NVIDIA · 大模型
NVIDIA 发布 Triton 推理服务器对大语言模型的更新支持
NVIDIA 发布 Triton 推理服务器更新，新增对大语言模型的部署优化。此次更新面向生产环境，提升 LLM 推理的性能与效率，帮助开发者更便捷地在 GPU 上运行大规模语言模型。NVIDIA Triton 作为开源推理服务器，持续扩展对主流模型架构的支持。
- 域名
blogs.nvidia.com- 评分
- 3 · 可关注
- 发布
- 2024-10-16
导读
这条暂时没有深度导读，点上方「访问项目本体」直接到源页面查看。