DeepSpeed-MII – 微软DeepSpeed开源的模型推理库

DeepSpeed-MII是什么DeepSpeed-MII 是 DeepSpeed 团队开源的 Python 库，提供高效模型推理。DeepSpeed-MII用阻塞 KV 缓存、连续批处理和动态 Sp