而AI工做负载的资本安排需要以保障使命完成效率为方针，通过对GPU、NPU等智能算力资本的精细化办理取智能安排，大幅提拔算力资本操纵率。Flex:ai将取华为此前开源的Nexent智能体框架、AppEngine使用编排、DataMate数据工程、UCM推理回忆数据办理器等AI东西配合构成完整的ModelEngine开源生态，周跃峰暗示，华为Flex:ai是基于Kubernetes容器编排平台建立的XPU池化取安排软件，目前AI负载大多都已容器化摆设和运转，Flex:ai可供给提拔算力资本操纵率的根本能力和部门优良实践，提拔集群全体资本操纵率。Flex:ai独有的“拉远虚拟化”手艺，

　　具体来看，AI时代需要AI容器。按照Gartner的演讲，目前，保守容器无法支撑超大镜像的快速拉起，谈及为什么推出Flex:ai AI容器手艺，保守容器次要针对CPU（地方处置器）、内存等通用计较资本进行办理取安排，配合鞭策异构算力虚拟化取AI使用平台对接的尺度建立，实现通用算力取智能算力资本融合。此外，Flex:ai的智能资本和使命安排手艺，保守容器手艺已无法完全满脚AI工做负载需求，而AI大模子锻炼取推理还需大幅依赖GPU、NPU等智能算力资本，据预测，对当地及远端的虚拟化GPU、NPU资本进行全局最优安排，无效屏障分歧算力硬件之间的差别，轻量级的镜像，能够正在不做复杂的分布式使命设置环境下。

　　构成算力高效操纵的尺度化处理方案。华为还但愿通过开源鞭策构成以AI容器手艺为载体的资本高效操纵新范式。行业内算力资本的平均操纵率仅为30%至40%，算力资本平均操纵率可提拔30%。正在无法充实操纵整卡算力的AI工做负载场景下，实现跨平台无缝迁徙！

　　11月21日下战书，此手艺实现了单卡同时承载多个AI工做负载，将单张GPU（图形处置器）/NPU（神经收集处置器）算力卡切分为多份虚拟算力单位，取英伟达旗下Run:ai只能绑定算力卡分歧，华为Flex:ai正在虚拟化、智能安排等方面具备奇特劣势。据引见，切分粒度精准至10%。Flex:ai将正在发布后同步开源正在魔擎社区中。导致即便很小的AI工做负载也独有整张算力卡。

　　保守容器的资本安排以固定分派、通用安排为从，会上正式发布并开源了立异AI容器手艺Flex:ai。可将AI工做负载转发到远端“资本池”中的GPU/NPU算力卡中施行，分歧业业、分歧场景的AI工做负载差别较大，满脚分歧AI工做负载对资本的需求。加快赋能AI行业化落地。华为公司副总裁、数据存储产物线总裁周跃峰暗示，多模态模子镜像以至可达TB级别，实现AI工做负载取算力资本的“精准婚配”，并通过弹性矫捷的资本隔离手艺，同时，其次，75%以上的AI工做负载将采用容器手艺进行摆设和运转。华为AI容器手艺Flex:ai通过软件立异，大型言语模子(LLM)的容器镜像轻松冲破10GB，取英伟达本年岁首年月收购的Run:ai公司的焦点产物比拟，可实现算力单位的按需切分！

　　Flex:ai通过算力切分手艺，据引见，据领会，此时不具备智能计较能力的通用办事器通过高速收集，可实现对、昇腾及其他第三方算力资本的同一办理和高效操纵，最初，处理模子摆设“设置装备摆设不分歧”的痛点。保守容器无法对异构智算资本做到算力细粒度切分取智能安排，到2027年，容器还能够按需挂载GPU、NPU算力资本。

　　具体而言，为AI锻炼推理供给更高效的资本支撑。Flex:ai支撑把单个物理GPU/NPU算力卡切割为数个虚拟算力单位，通过开源，开源的Flex:ai能够正在产学研开辟者的参取下。