MLPerf 3.0最新发榜,戴尔AI和边缘服务器拿下历史最好成绩!
北美时间4月5日,全球权威 AI 基准测试 MLPerf 3.0 最新结果正式公布,戴尔新一代AI与边缘计算服务器取得有史以来最好成绩:
数据中心赛道,戴尔新一代GPU服务器PowerEdge XE9680斩获3项第一、9项第二;
边缘计算赛道,戴尔PowerEdge XR系列边缘计算服务器拿下10项第一。
恭喜戴尔!
MLPerf由ML Commons联盟组织,是全球最知名、参与度最高的AI计算基准测试,包含Training(训练)和Inference(推理)两大领域。MLPerf选择AI各个热门领域的经典模型,在满足技术规范前提下(如训练精度、延迟等),对各大厂商的硬件、软件和服务的训练和推理性能提供公平的评估。
最新公布的AI推理基准测试MLPerf Inference v3.0,包含图像分类ResNet-50、目标检测RetinaNet、医疗图像3D U-Net、语音识别RNN-T、自然语言处理BERT-Large、推荐系统DLRM等6个模型赛道,汇集了来自全球25个厂商超过6700条性能数据,以及2400条性能功耗数据。
MLPerf Inference v3.0的AI业务场景
在此次MLPerf Inference v3.0测试中,戴尔提交了27种不同的服务器配置,共计255项测试数据。产品涵盖PowerEdge XE9680、R750xa、XR7620、XR5610等型号,参测的GPU型号包括NVIDIA A30、L4、T4、A2以及高通AI加速卡等,具有广泛的选型参考性。
数据中心赛道表现
在MLPerf Inference最受关注的数据中心基准测试(Datacenter closed)中,戴尔16G PowerEdge服务器XE9680首次亮相便斩获优异成绩。
8卡配置的PowerEdge XE9680参加了12项测试,所有测试成绩均位居前2,其中在RetinaNet Server(目标检测)、RetinaNet Offine(目标检测)和RNN-T Server(语音识别)三个项目赛道皆拿下第1名的最优成绩。
同上一期的MLPerf Inference v2.1相比,PowerEdge XE9680将Dell在各个项目的最好成绩分别提升了3倍-8.4倍。
边缘计算赛道表现
边缘计算是MLPerf关注的另一类AI推理的应用场景,有别于数据中心对极致算力的最求,边缘计算场景对于计算设备部署的环境要求更加多元化,也更加看重计算设备的功耗与成本。因此,在满足AI计算吞吐和延迟性能要求的前提下,提供更高性价比以及性能功耗比的AI计算解决方案,是戴尔在边缘AI计算重点关注的内容。
在此次MLPerf Inference v3.0 Edge closed power测试中(主要衡量边缘AI计算的性能功耗比),戴尔XR系列边缘计算优化服务器在全部14项测试中取得了10个项目的最佳成绩。其中, PowerEdge XR5610边缘计算优化服务器搭配NVIDIA最新发布的L4 GPU,取得9个项目第一,PowerEdge XR4000搭配NVIDIA A2 GPU,在BERT 99 Offline项目中取得了最佳成绩。
* Dell XR5610参加的9个项目分别是ResNet Single Stream、Resnet Multi Stream、RetinaNet Single Stream,、RetinaNet Offline、3D-UNet 99 Single Stream、3D-UNet 99 Offline、3D-UNet 99.9 Offline、RNN-T Single Stream、BERT-99 Single Stream。
NVIDIA L4是一款单宽GPU加速卡,专为AI视频和生成式AI用例而设计,较上一代GPU实现了2.7倍的生成式AI性能提升。Dell PowerEdge服务器在今年一季度开始提供对L4的选型支持。
以此次AI Inference v3.0 Edge的测试项目中的图像分类ResNet-50与自然语言处理BERT-99为例,L4的推理计算性能分别达到T4的2.1倍和2.13倍。而同A10相比,L4绝大多数的规格指标与A10非常接近,功耗却不到其一半,同时实现了大量成本节约。L4的发布,将成为未来AI推理计算具备高竞争力的GPU选型。
当下,ChatGPT带动了全球对AI大模型以及基于AI大模型的AIGC(人工智能内容生成)的关注与投资热潮。与之前的AI小模型相比,以ChatGPT为代表的大规模预训练模型,参数规模增加了100倍-1000倍。训练如此庞大的AI大模型需要更大的AI计算集群,以及更多的训练数据集。
以OpenAI的GPT为例,GPT-3拥有1750亿参数,2020年GPT-3发布时训练该模型使用了超过10000张NVIDIA GPU卡。而根据第三方测算,如果使用1024张A800 GPU训练GPT-3,仍然需要超过一个月的时间。
随着AIGC时代的带来,人工智能产业化对于AI算力的需求将被带到一个新的高度。在本次MLPerf Inference v3.0测试中取得优异成绩的PowerEdge XE9680戴尔专为复杂计算和 AI/ML/DL 以及 HPC 密集型工作负载而构建,可以快速开发、训练及部署像ChatGPT这样的大型机器学习模型,助推更多AIGC场景快速落地。
此外,AI与边缘的融合是未来AI计算的趋势之一,越来越多的AI计算负载特别是AI推理计算将会出现在边缘侧。边缘端IT设备的部署环境千差万别,有的时候很难像核心数据中心拥有同样完备的机房环境,可能会面临更加复杂、恶劣的设备运行环境。
戴尔XR系列服务器对于高温、低温、海拔、防尘、抗震的运行环境有更强的适应能力,通过了电信和海事行业标准。机箱深度通常只有通用机架服务器的一半左右,机器外形更加精巧紧凑。
此次参加AI Inference v3.0 Edge项目测试的XR系列服务器,是戴尔科技专为面向边缘计算场景设计与优化的服务器,此前已发布了XE2420、XR12、XR11、XR4000等产品,今年陆续会有更多新品发布,请大家拭目以待!
免责声明:本站刊登/转载此文仅出于传递更多信息之目的,不等于赞同其观点或论证其描述,不负责其真实性或有效性,相关图文版权归原作者所有。
最近更新教育培训
- 丰林县:打好“组合拳” 稳岗促就业
- 进城务工人员随迁子女可在北京参加高职招考!今天17时截止——
- 政策|促进负责任创新与隐私保护:《科技伦理审查办法(试行)》解读
- 湖北教育行业微信9月TOP30榜:“湖北民族大学”等8个账号新晋榜单
- 晒课堂常规 看星湖学校促师生习惯养成
- “乡”味浓浓,侨后代千里返乡学潮菜
- 房车资讯:房车买个什么车好?正犹豫的你,请收下本篇测评!
- 张家界市总工会女职工芙蓉公益讲堂送课到永定区教师进修学校
- 广东2024年普通高考报名百问百答(一)
- “首批二孩”集中入学 看银川如何从容应对
- 【理通三迤】好品德造就干部好风尚
- 长春职业技术学院探索职教援外新路径
- 排名公开:贵阳精神病医院2023排名10月详情榜单
- 亳州教师勇救落水青年 彰显师者大爱
- 贵州省2023年下半年高等教育自学考试考前提示
- 10月17日起,贵州省2023年度全国社会工作者职业资格证书(纸质)可以领取啦!
- 四川北川:“羌山领头羊”计划让中学生成为科学实验的“研究者”
- 山东代表寄语妇女十三大丨刘莉:让巾帼之力在乡村振兴路上更加出彩
- “只要有孩子来读书,我就不会放弃”
- 原创国乒世界排名洗牌!王楚钦3项第1,张本智和暴跌,马龙第3难保
- 68125亿元!同比增长6%!山东前三季度“成绩单”出炉
- 文教融合共创未来
- 生态环境部、市场监管总局联合发布《温室气体自愿减排交易管理办法(试行)》
- 约老师轰22+12+7,掘金险胜灰熊!罗斯梦回巅峰,穆雷只打关键球
- 定档12月31日!2023深圳宝安马拉松报名今日开启