DeepSeek第二炸!开源首个用于MoE模型训练通信库
DeepSeek 的“开源周”活动今日已经来到第二天,今天发布的是首个开源的用于 MoE 模型训练和推理的 EP 通信库 ——DeepEP。
官方表示其具备如下特征:
高效优化的全到全通信方式
支持节点内外通信,兼容 NVLink 和 RDMA 技术
提供高吞吐量的内核,提升训练和推理前期填充效率
提供低延迟内核,优化推理解码速度
完全支持 FP8 数据格式调度
提供灵活的 GPU 资源管理,支持计算与通信的重叠执行
据介绍,DeepEP 是一款专为混合专家(MoE)和专家并行(EP)设计的通信库,提供了高吞吐量和低延迟的 all-to-all GPU 内核,常用于 MoE 派发和合并操作。该库还支持低精度计算,包括 FP8。
为了与 DeepSeek-V3 论文中提出的组限制门控算法兼容,DeepEP 提供了一些针对不对称带宽转发优化的内核,比如将数据从 NVLink 域转发到 RDMA 域。这些优化的内核能够提供高吞吐量,适合用于训练和推理的预填充任务,同时支持 SM(流式多处理器)数量控制。
对于延迟敏感型的推理解码任务,DeepEP 提供了一套低延迟内核,采用纯 RDMA 技术以最大程度减少延迟。此外,该库还采用了一种基于 Hook 的通信与计算重叠方法,不会占用任何 SM 资源。
-
曝王一博《长空之王》9月重映 影院需自行报名参加
据国内媒体消息,由刘晓世导演,王一博、胡军、于适主演的军事题材电影《长空之王》将于9月3日重映。据悉,本次重映分线发行,想要排片的影院需进行报名。此外,本次重映还有IMAX版本可供选择。《长空之王》讲
-
外媒爆料:邦女郎安娜·德·阿玛斯有望加盟漫威
据DanielRPK爆料,安娜·德·阿玛斯有望加盟漫威MCU并出演重要角色,可能就是《复仇者联盟5:毁灭日》(有网友猜测可能是毁灭博士早年去世的母亲)。她曾出演《2049银翼杀手》与《疾速追杀》,最令
-
iPhone 17 Pro系列亮点前瞻:影像升级或成最大亮点
转眼间已经来到了8月份,距离新一代iPhone的发布已经越来越近了,虽然官方还没有给出准确的信息,但有曝料指出,发布会将定于9月9日,也就是9月第二周的周二,符合苹果一贯的作风。预计这次苹果将会取消P
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/
- 尾号“8个7”手机号拍出320万元
- 雷军:YU7价格一定让大家觉得合理!珍珠白配色超帅
- 腾讯《三角洲行动》战役模式定档!电影改编 虚幻5打造
- 路虎揽胜纯电版官图发布:2025年底前发布
- Linux也变屎山!内核代码突破4000万行 10年膨胀一倍
- 美女记者谈金摇杆冷落《黑神话:悟空》国外媒体见不得国产游戏好
- 小米首款SUV法拉米:姿态超低 越看越像法拉利
- 周鸿祎被国产车夹手惨叫 车内视角首次公布:还好反应快
- 软银集团旗下电信子公司将斥资5亿美元收购Cubic Telecom 51%股份
- 韩元汇率对人民币2023年5月14日
- QuestionDB 查找博客主题和社交媒体帖子创意
- 合成了大西瓜又怎样?里面西瓜都画错了!

随时掌握互联网精彩