“大模型”制造算力饥渴,腾讯“摆摊买水”
来源:AI 星球;文 / 邵延港
ChatGPT 引起的热度从去年底持续到现在,想要继续讲 AI 故事的参与者,被迫加入大模型(LLM)混战,国内企业的大模型发布会的排期快把近两个月的日期占满了。
目前,百度已经发布文心一言、阿里发布了通义千问,商汤也于日前发布了日日新,360、网易、科大讯飞等企业的大模型产品都已经提上日程。腾讯此前披露的在研项目 " 混元 " 大模型近期也备受关注。
混元大模型尚未正式上线,但腾讯却在大模型的基础设施加快布局。4 月 14 日,腾讯面向大模型训练,发布 " 超强算力集群 ",要助力企业云上训练 AI 大模型,解决中小企业和创业公司的算力压力。
" 挣大模型的钱 ",腾讯不是第一家,阿里、亚马逊、英伟达等企业已经在软硬件方面展示了服务项目。在这场大模型热潮中,腾讯也想做一个 " 卖水人 ",不过在算力支持的背后,或是一场大厂生态之战。
算力需求紧张,腾讯可 4 天训完万亿规模大模型
大模型依赖算法、算力和数据的综合支撑。一个人工智能大模型,通常得用数万亿个单词训练,参数量也 " 飙升 " 到了上万亿。
据了解,在训练阶段,Open AI 发布的 ChatGPT 训练阶段总算力消耗约为 3640 PF-days,即 1PetaFLOP/s 效率跑 3640 天,需要 7~8 个投资规模 30 亿、算力 500P 的数据中心才能支撑运行。此前,华为云的盘古大模型的预训练参数规模达到 2000 亿,阿里达摩院的 M6 模型参数达到 10 万亿。
在众多国产大模型陆续上线后,算力消耗会指数级增长。用于大模型训练的芯片,其算力也有限,今年 4 月 5 日,Open AI 关闭了 ChatGPT Plus 的付费渠道,给出的理由就是需求量过大,仅发布几个月,OpenAI 就已经面临算力缺口。如今,密集上线的大模型也将面临着巨大的算力需求。
大模型的算力依靠的是芯片,但遇到海量运算,单块芯片无力支撑,腾讯给出的方案是将成千上万台服务器,通过网络联结,组成大型的算力集群。
据了解,腾讯新一代的算力集群集成了腾讯云自研的 TACO 训练加速引擎,对网络协议、通信策略、AI 框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。
根据腾讯云公布信息,其新一代高性能计算集群采用最新一代星星海自研服务器,搭载英伟达 H800 GPU 基于自研网络、存储架构,带来 3.2T 超高互联带宽、TB 级吞吐能力和千万级的 IOPS,为企业用户提供高性能、高带宽、低延迟的智算能力支撑。
腾讯云通过实测结果显示,新一代算力集群的整体性能比过去提升了 3 倍。腾讯云表示,在去年 10 月,腾讯完成首个万亿参数的混元 NLP 大模型训练。在同等数据集下,将训练时间由 50 天缩短到 11 天。如果基于新一代集群,训练时间将进一步缩短至 4 天。并且,腾讯混元大模型背后的训练框架 AngelPTM,也已通过腾讯云 TACO 提供服务。
不仅是算力缺口的限制,算力成本也是创业公司和中小企业难以支撑的原因。据悉,腾讯升级算力集群所用的英伟达 H800 芯片售价接近 20 万元。
在当前国产大模型热潮之下,腾讯向外界提供高性能计算集群,缓解算力压力,做创业公司和中小企业掘金大模型产业路上的 " 卖水人 "。只不过,腾讯并不是唯一一家卖水的,大厂已经先后入局。
巨头陆续出手," 生态群 " 呼之欲出
三天前,阿里云公开发布旗下大模型 " 通义千问 ", CEO 张勇在宣布将大模型与集团内部产品相结合之外,还布置有一条面向外部生态的路线。
阿里云也看到了大模型爆发带来的算力问题,阿里云依靠自研芯片,降低算力成本,向外部企业提供普惠算力支持,也成为阿里云打造生态的方式之一。
腾讯的做法也类似,其新一代集群集成了腾讯云自研的 TACO 训练加速引擎,对网络协议、通信策略、AI 框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。腾讯也将基于自研芯片、星星海自研服务器和分布式云操作系统遨驰,打造面向 AIGC 的高性能智算网络。
此外,在 4 月 13 日,全球云计算巨头亚马逊也加入战局,而亚马逊主要是做 AI" 底座 ",为上层应用公司提供 AI 基础设施,即接入多家公司的基础模型,搭建 " 模型超市 ",让用户按需选择。在算力方面,亚马逊推出了基于自研 AI 芯片的两大人工智能计算 " 实例 "Amazon EC2 Trn1n 和 Amazon EC2 Inf2,分别用于大模型训练和推理。
AI 芯片的巨头厂商英伟达,在近期发布会上发布了大模型专用 GPU,以及为中国市场特供的 H800 超大型 GPU 服务器,腾讯此次发布的高性能计算集群正是首次搭载该款芯片。
大厂先后入局大模型的算力服务,背后也是一场生态竞争。在算力限制下,腾讯、阿里等巨头将慢慢融合其他垂直领域的 " 小模型 ",打造生态圈。
最近更新娱乐资讯
- 获奖影评赏析|《阿丽塔·战斗天使》
- 人生必看十部好看的纪录片(十部必看的现实主义纪录片)
- 日本十大禁欲动漫盘点:唯美霸道下的污镜头
- 墨西哥大麻即将合法化,美媒:美国夹在两个“卖大麻的邻居”之间
- “和合”文化背景下昭君文化的价值生成
- 马来酸阿法替尼片人体生物等效性试验
- 原创《满城尽带黄金甲》:喧哗与沉静的戏台,道德与伦理的悲歌
- 裴旖旎
- 隐适美附件又掉了,从第一天掉了2颗,第二天掉了1颗,今晚我还戴牙套吗?
- 电视剧《最美的青春》:好作品是如何炼就的
- 狗头萝莉出摊卖煎饼大家怎么看?
- 记者的职业伦理:我该何时放下相机
- 绝命毒师电影,「蚁人」改造DNA,首部Netflix华语剧...10月流媒体片单
- 这是一部非常独特的「成人动画」,少儿不宜
- 高分电影推荐!六部直击人性黑暗面的韩国片!部部引人深省!
- 2022天津解放军464医院整形美容中心整形价格表(价目表)全新发布
- 精 [电影推荐]一再婚女人因拯救女儿,让两个家庭面临人性考验,此电影令人感动
- 缓冲晶体溶液与生理盐水对重症监护病房患者急性肾损伤的影响:SPLIT随机临床试验
- 未成年人千万别看这部片子,简直太变态了!!!
- 生态在文学中的位置
- 与3800多名女性发生过关系,世界小电影之王,终于那啥了
- 新加坡电影《爸妈不在家》爆冷获多项金马奖
- 调查称52%受访者认为国产电影色情暴力问题严重
- 红楼梦初中读书笔记
- 家庭伦理剧,小品剧本《家庭矛盾》