七成大模型厂商在火山引擎云上

　　AI大模型技术应用爆发，云市场变革也随之加速。

　　4月18日，火山引擎在其举办的“原动力大会”上发布自研DPU等系列云产品，并推出新版机器学习平台：支持万卡级大模型训练、微秒级延迟网络，可以让大模型训练更稳更快。

　　据介绍，目前国内有数十家做大模型的企业，七成已经在火山引擎云上。

　　与其他云厂商力推自家大模型不同，火山引擎总裁谭待表示，火山引擎自己不做大模型。在大模型领域，火山引擎的发展思路是，首先服务好国内做大模型的公司，为企业和消费者提供更丰富的AI应用，然后和他们一起共同开展对外的服务。

　　不做大模型但要做大模型的发动机

　　自2022年底发布以来，ChatGPT成为人类历史上率先获得上亿用户的消费级互联网应用。最新的GPT-4大模型，更是在法律、数学、生物学等多项测试中超过90%人类。

　　越来越多的国内厂商纷纷投身到大模型领域，但谭待在多个场合公开表示，火山引擎不做大模型。

　　虽然不做大模型，但火山引擎并未缺席大模型领域。谭待表示，国内很多科技公司投入到大模型建设中，他们有优秀的技术团队，也有丰富的行业知识和创新想法，但往往缺乏经过大规模场景实践的系统工程能力。火山引擎要做的就是为大模型客户提供高稳定性和高性价比的AI基础设施。

　　在ChatGPT引爆这一轮AI热潮之前，火山引擎上早已运行了不少模型，包括来自字节跳动旗下的业务，以及很多垂直行业已经有模型在火山引擎上训练。比如抖音的推荐广告上有大规模的模型训练场景，生物制药、自动驾驶等垂直行业从去年开始在火山引擎上的训练模型已经呈现出越来越大的趋势。

　　谭待表示：“火山引擎在大模型的很多场景有非常多的打磨和实战经验，从去年看到模型发展变化的趋势之后，针对客户的新需求，火山引擎做很多优化，这为后来很多大模型厂商选择火山引擎打下来基础。”

　　据悉，此次发布的火山引擎机器学习平台，经过抖音等海量用户业务长期打磨，可以支持单任务万卡级别的超大规模分布式并行训练场景。GPU弹性计算实例可灵活调度资源，随用随取，最高可以为客户节省70%的算力成本。

　　更快、更稳、更省

　　谭待透露，火山引擎的大模型云平台获得智谱AI、等众多企业的良好反馈。国内大模型领域，七成以上已是火山引擎客户。

　　为什么大量的大模型厂商选择火山引擎呢？谭待表示，大模型需要大算力，所以对算力成本有很强的诉求。可以说成本是的关键竞争力，也是客户最看中的事情。

　　毕竟对于企业来说，业务创新需要试错，试错要大胆、敏捷，但试错也一定要控制成本。通过潮汐、混部等方式，火山引擎实现资源的高利用率和极低成本。以抖音推荐系统为例，工程师用15个月的样本训练某个模型，5小时就能完成训练，成本只有5000元。火爆全网的抖音“AI绘画”特效，从启动到上线只用一周多时间，模型由一名算法工程师完成训练。

　　但对于的客户来说，光便宜是不够的，并且不可持续的。想要真正的留客户，还需要通过技术手段，可持续的把产品做好。

　　火山引擎针对大模型领域的需求，推出的新版机器学习平台，支持万卡级大模型训练、微秒级延迟网络，可以让大模型训练更稳更快，能够帮助企业很好的去应用好算力，进一步提升效率。

　　MiniMax是目前国内少数已经推出自研大模型产品的AI技术公司，拥有文本、视觉、声音三种通用大模型引擎能力。据MiniMax联合创始人杨斌介绍，MiniMax与火山引擎合作建立了超大规模实验平台，实现千卡级常态化训练；超大规模推理平台有万卡级算力池，支撑单日过亿次调用。在火山引擎的云上，MiniMax大模型业务实现快速突破。

　　“我们能吸引MiniMax的点，除了算力供给之外，最重要的是通过机器学习帮它解决了很多工程上的问题，让它能够把资源更好地集中在自己模型的训练、分析和提效上。”谭待说道，“我们把底层的工程问题帮它解决好，客户在火山引擎上运行的效率才能更高。”

　　多云多模态时代到来

　　谭待表示，在大模型及下游应用发展推动下，无论传统企业还是初创企业，对AI算力都有迫切需求，企业使用多家云服务将成为常态。同时，各行业有自己高质量的私有语料，大模型不会一家独大，而是会在千行百业生长，形成多模型共生甚至协作的生态。“未来将是‘多云多模型’的时代。”

　　因为大模型的训练往往需要大算力，算力需求越大的时候，启动门槛越高，通过公有云的商业模式，可以让启动成本降低，对于企业来说意味着不用冒太多风险。

　　可以预见，大模型将带动云上AI算力急剧增长，AI算力的工作负载与通用算力的差距会越来越小，这会为各家云厂商带来新的机会，同时也会对、软硬件栈、PaaS平台带来新的挑战。

　　以的算力结构为例，谭待表示：“大模型需要大算力，虚拟化会带来资源损耗，规模越大就损耗越多。未来3年内，大规模的算力中心，都将形成‘CPU+GPU+DPU’的混合算力结构，CPU负责通用计算，GPU负责AI计算，DPU负责资源卸载、加速和隔离，提升资源效率”。

　　在此次原动力大会上，火山引擎还发布了新一代自研DPU，实现了计算、存储、网络的全组件卸载，释放更多资源给业务负载。火山引擎尽管是“最年轻”的云厂商，其自研DPU已达到业界领先水平，网络性能高达5000万pps转发能力、延迟低至20us。基于自研DPU的各类计算实例性能也有显著提升，例如适用于大模型分布式并行训练场景的GPU实例，相较上一代实例集群性能最高提升3倍以上。