KServe

KServe 提供商在云和数据中心提供由 NIM 赋能的推理
Canonical、Nutanix 和 Red Hat 等厂商的开源 Kubernetes 平台集成了 NVIDIA NIM，将允许用户通过 API 调用来大规模地部署大语言模型。