DeepSeek第二炸!开源首个用于MoE模型训练通信库
DeepSeek 的“开源周”活动今日已经来到第二天,今天发布的是首个开源的用于 MoE 模型训练和推理的 EP 通信库 ——DeepEP。
官方表示其具备如下特征:
高效优化的全到全通信方式
支持节点内外通信,兼容 NVLink 和 RDMA 技术
提供高吞吐量的内核,提升训练和推理前期填充效率
提供低延迟内核,优化推理解码速度
完全支持 FP8 数据格式调度
提供灵活的 GPU 资源管理,支持计算与通信的重叠执行
据介绍,DeepEP 是一款专为混合专家(MoE)和专家并行(EP)设计的通信库,提供了高吞吐量和低延迟的 all-to-all GPU 内核,常用于 MoE 派发和合并操作。该库还支持低精度计算,包括 FP8。
为了与 DeepSeek-V3 论文中提出的组限制门控算法兼容,DeepEP 提供了一些针对不对称带宽转发优化的内核,比如将数据从 NVLink 域转发到 RDMA 域。这些优化的内核能够提供高吞吐量,适合用于训练和推理的预填充任务,同时支持 SM(流式多处理器)数量控制。
对于延迟敏感型的推理解码任务,DeepEP 提供了一套低延迟内核,采用纯 RDMA 技术以最大程度减少延迟。此外,该库还采用了一种基于 Hook 的通信与计算重叠方法,不会占用任何 SM 资源。
-
巨人网络股价狂涨90%!月流水54万逆袭至1700万
根据已经发布的《中国游戏产业月报》测算,1月至5月中国游戏市场规模为1411.1亿元,同比增长达到亮眼的17%。据点点数据统计,2025年1月至6月上线新游国内iOS端流水TOP20的榜单排名中,大部
-
B站能绑定Steam了!APP和网页端都支持绑定
日前,B站正式建立了Steam小站(在App搜索‘Steam小站’即可看到按钮),由于目前小站采用邀请制,只有获得邀请码的玩家才可以加入小站,有资格内测绑定Steam账号的功能,并解锁发帖权限,填写下
-
多位韩国美女COSER确认出席CJ!喊话网友挑选服装
在今年BW名声大噪的韩国人气Coser Yasal发文宣布即将再次在中国参加活动。她写道:“很快又见面了!8月1日我会在上英雄联盟 联盟生日会扮演狐狸;8月2日,CJ我会亮相@地下城与勇士手游展区 扮
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/