实验 11: 使用 HAMi DRA 共享 GPU 运行 KServe 推理服务
部署 KServe Standard vLLM 服务,并通过 HAMi 原生 DRA Claim 让两个 Predictor 副本共享一张 NVIDIA GPU。
部署 KServe Standard vLLM 服务,并通过 HAMi 原生 DRA Claim 让两个 Predictor 副本共享一张 NVIDIA GPU。
通过 Kubernetes 原生 Dynamic Resource Allocation 实现同样效果(实验性)。
在 Pod 进入调度器之前,按 vGPU 数量、显存和算力执行配额准入。