阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
阿里云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。
针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。
随着AI大模型的体量变大、应用变广,单GPU已难以承载推理应用的全部需求,多GPU推理时代已经到来,如何在GPU资源紧缺的当下,实现GPU高效互联,是提升多GPU推理性能的关键。
阿里云通过进一步优化底层的AI通信加速库DeepNCCL,让GPU云服务在推理场景下有更好的性能表现:在同等硬件环境下,Token输出吞吐至少提升14%,首Token时延降低15%。
通过深度优化,推理加速性能也提升显著,Token处理能力提升100%,相同的资源可以支持2倍的业务需求,用Kubernetes容器集群技术调用GPU算力,已成为运行AI大模型任务的主流选择。
ACK容器服务可提供自动化编排及GPU高效管理和调度的能力,让模型部署、扩展变得更简单。
为进一步提升AI应用运维效率,阿里云推出ACK云原生AI套件,可实现Kubernetes在GPU调度和细粒度共享、AI任务调度、训练数据加载以及大模型推理服务启动等关键领域的能力增强和加速,相较开源均有大幅能力提升。
比如,针对AI任务频繁加载远程存储数据的需求,ACK云原生AI套件可提升训练数据读取性能30%以上,降低大模型推理服务冷启动时延70%以上。
在全球累计超过1000万活跃用户的国产AI绘画工具海艺AI,就是通过ACK调用阿里云GPU云服务的先行者。
此前,用户通过海艺AI生成一张图片平均耗时20秒,遇到队列等待延迟可上升至分钟级;采用阿里云GPU云算力及ACK容器服务后,海艺AI的模型切换完全无感,推理耗时降低至3.95秒,整体性能提升至少50%以上。
在最新的Forrester 全球AI基础设施解决方案研究报告中,阿里云综合产品能力指标位居全球第二,已成为中国AI大模型的公共底座。
零一万物、百川智能、智谱AI、昆仑万维、vivo、复旦大学、巨人网络等大批企业和机构在阿里云上训练大模型,并通过阿里云对外提供服务。
小鹏汽车、联想、德勤、微博、完美世界、喜马拉雅等已接入阿里云通义大模型,在阿里云上为消费者和客户提供丰富的AI应用服务。
-
《三角洲行动》官方致歉!回应此前更新:未来会更谨慎
此前国产游戏《三角洲行动》官方在10月5号紧急更新,将“烽火地带”模式的巴克什,航天基地,潮汐监狱的撤离点改为了超过5人负载,后进入无法撤离,并且对游戏角色“深蓝”进行了大幅度削弱,而今日三角洲对此做
-
“大嫂”高叶用上小米17 Pro Max:拍摄绝美逆光大片
演员高叶今天晒出了自己用小米17 Pro Max拍摄的照片,其中不少逆光场景也拍摄出了清晰的人像大片,告别黑脸。据悉,演员高叶在电视剧《狂飙》播出后备受好评,小米当时就邀请高叶成为小米手机影像推荐官。
-
微软即将大规模推送Win11 25H2:丝滑升级
微软已于9月30日(国内10月1日)正式推出了Win11 25H2系统,很多人可能看到更新了,不过大部分人推送更新还要等等。以往的Win11系统升级中,微软的策略是企业级、消费级用户都会在同一天收到升
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/
- 疾控局:广东基孔肯雅热疫情形势严峻
- 腾讯元宝AI平台疑似出现快回收和58到家广告 腾讯回应称非广告已交技术排查
- ColorOS 15 2月升级计划公布:3年前的一加手机喜提大版本更新
- 索尼《星鸣特攻》M站玩家评分仅2.8:过于政治正确!
- 《剑星》伊芙新手办公布:红色紧身衣凸显傲人身材
- 荣耀畅玩60 Plus官宣:6月24日开启预售
- 小米14 Pro钛金属卫星通信版发布:6999元
- 马斯克:旗下SpaceX将为iPhone提供卫星通信服务
- 我国正式启动2023新能源汽车下乡:首批近70款车型
- 92号汽油价格最新2023年5月14日
- 抓紧!上半年北京小客车指标申请即将截止!这些情况都需重新申请!
- 倪妮成为索菲亚全球品牌代言人

随时掌握互联网精彩