
新浪科技訊 11月24日晚間消息,聯(lián)合利用在近日的大高2025 AI容器應(yīng)用落地與發(fā)展論壇上,華為公司副總裁、布并數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰正式發(fā)布AI容器技術(shù)——Flex:ai。開(kāi)源同時(shí),容器華為聯(lián)合上海交通大學(xué)、技術(shù)西安交通大學(xué)與廈門(mén)大學(xué)共同宣布,助力資源將此項(xiàng)產(chǎn)學(xué)合作成果向外界開(kāi)源,破解助力破解算力資源利用難題。算力
當(dāng)前,難題AI產(chǎn)業(yè)高速發(fā)展催生海量算力需求,聯(lián)合利用但全球算力資源利用率偏低的大高問(wèn)題日益凸顯,“算力資源浪費(fèi)”成為產(chǎn)業(yè)發(fā)展的布并關(guān)鍵桎梏:小模型任務(wù)獨(dú)占整卡導(dǎo)致資源閑置,大模型任務(wù)單機(jī)算力不足難以支撐,開(kāi)源大量缺乏GPU/NPU的容器通用服務(wù)器更是處于算力“休眠”狀態(tài),供需錯(cuò)配造成嚴(yán)重的資源浪費(fèi)。
本次發(fā)布并開(kāi)源的Flex:ai XPU池化與調(diào)度軟件,是基于Kubernetes容器編排平臺(tái)構(gòu)建,通過(guò)對(duì)GPU、NPU等智能算力資源的精細(xì)化管理與智能調(diào)度,實(shí)現(xiàn)AI工作負(fù)載與算力資源的精準(zhǔn)匹配,可大幅提升算力利用率。
據(jù)介紹,該技術(shù)深度融合了三大高校與華為的科研力量,形成三大核心技術(shù)突破:針對(duì)AI小模型訓(xùn)推場(chǎng)景中“一張卡跑一個(gè)任務(wù)”的資源浪費(fèi)問(wèn)題,華為與上海交通大學(xué)聯(lián)合研發(fā)XPU池化框架,可將單張GPU或NPU算力卡切分為多份虛擬算力單元,實(shí)現(xiàn)算力單元的按需切分,使此類(lèi)場(chǎng)景下的整體算力平均利用率提升30%;針對(duì)大量通用服務(wù)器因缺乏智能計(jì)算單元而無(wú)法服務(wù)于AI工作負(fù)載的問(wèn)題,華為與廈門(mén)大學(xué)聯(lián)合研發(fā)跨節(jié)點(diǎn)拉遠(yuǎn)虛擬化技術(shù)。該技術(shù)將集群內(nèi)各節(jié)點(diǎn)的空閑XPU算力聚合形成“共享算力池”,促進(jìn)通用算力與智能算力資源融合;面對(duì)算力集群中多品牌、多規(guī)格異構(gòu)算力資源難以統(tǒng)一調(diào)度的痛點(diǎn),華為與西安交通大學(xué)共同打造Hi Scheduler智能調(diào)度器,實(shí)現(xiàn)AI工作負(fù)載分時(shí)復(fù)用資源。即便在負(fù)載頻繁波動(dòng)的場(chǎng)景下,也能保障AI工作負(fù)載的平穩(wěn)運(yùn)行。
海量資訊、精準(zhǔn)解讀,盡在新浪財(cái)經(jīng)APP 責(zé)任編輯:何俊熹