DeepSeek第二炸!开源首个用于MoE模型训练通信库

业界 来源:游民星空 2025-02-26 08:21:41

DeepSeek 的“开源周”活动今日已经来到第二天,今天发布的是首个开源的用于 MoE 模型训练和推理的 EP 通信库 ——DeepEP。

官方表示其具备如下特征:

高效优化的全到全通信方式

支持节点内外通信,兼容 NVLink 和 RDMA 技术

提供高吞吐量的内核,提升训练和推理前期填充效率

提供低延迟内核,优化推理解码速度

完全支持 FP8 数据格式调度

提供灵活的 GPU 资源管理,支持计算与通信的重叠执行

据介绍,DeepEP 是一款专为混合专家(MoE)和专家并行(EP)设计的通信库,提供了高吞吐量和低延迟的 all-to-all GPU 内核,常用于 MoE 派发和合并操作。该库还支持低精度计算,包括 FP8。

为了与 DeepSeek-V3 论文中提出的组限制门控算法兼容,DeepEP 提供了一些针对不对称带宽转发优化的内核,比如将数据从 NVLink 域转发到 RDMA 域。这些优化的内核能够提供高吞吐量,适合用于训练和推理的预填充任务,同时支持 SM(流式多处理器)数量控制。

对于延迟敏感型的推理解码任务,DeepEP 提供了一套低延迟内核,采用纯 RDMA 技术以最大程度减少延迟。此外,该库还采用了一种基于 Hook 的通信与计算重叠方法,不会占用任何 SM 资源。

延伸阅读
  • 小米17 Pro突然上热搜!网友:太喜欢这个背屏了

    小米17国庆前上市,在假期期间引起了很多关注,今天突然又冲上微博热搜前十,不少网友参与讨论。目前来看,最主要的讨论点集中在命名和背屏设计上,有多人表示“太喜欢这个背屏了”。小米17 Pro系列两款机型

  • 鸡排哥出圈名场面拍摄者发声:希望鸡排哥越来越好

    据澎湃新闻 博主“甜甜小圆圈”拍摄的一条“鸡排主理人”炸鸡排、与顾客互动的视频获两百余万点赞,让“鸡排哥”走红。甜甜小圆圈自称是第一个把“鸡排哥”拍到火爆全国的人,响亮的“鸡排世家”名号也出自她的想法

  • 《风林火山》曝导演让替身真上吊 任贤齐怒而离片场

    关于《风林火山》负评,最炸裂的大概是绞刑戏变真上吊。有人爆出任贤齐的角色卧底阿焦份被金城武饰演的季雾重揭发,李于是将阿焦吊死。导演麦浚龙曾要求任贤齐亲身上阵拍上吊戏份,更指曾询问医生,真吊颈10秒有事

关注公众号:拾黑(shiheibook)了解更多

友情链接:

关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接