華為AI存儲榮獲2024年MLPERF? AI基準測試性能全球第一
發(fā)布時間：
2024-09-29
全球最權(quán)威、影響力最廣的AI基準測試MLPERF發(fā)布了Storage V1.0 AI基準測試結(jié)果，華為OceanStor A800全新AI存儲在全球廠商中脫穎而出，總性能、每節(jié)點性能、每U性能均是全球第一。
[中國，深圳，2024年9月26日] 全球最權(quán)威、影響力最廣的AI基準測試MLPERF發(fā)布了Storage V1.0 AI基準測試結(jié)果，華為OceanStor A800全新AI存儲在全球廠商中脫穎而出，總性能、每節(jié)點性能、每U性能均是全球第一。
MLPerf benchmark是一個衡量人工智能硬件、軟件和服務(wù)性能的標準化基礎(chǔ)測試平臺，它由圖靈獎得主大衛(wèi)•帕特森（David Patterson）聯(lián)合谷歌、斯坦福、哈佛大學(xué)等頂 尖企業(yè)和學(xué)術(shù)機構(gòu)成立，是權(quán)威性最大、影響力最廣的國際AI性能基準測試。為了緊跟行業(yè)前沿，MLPERF每年發(fā)布基準測試數(shù)據(jù)，獲得全球廣泛認可。其中，3D U-Net工作負載測試匹配業(yè)界多模態(tài)大模型趨勢，對存儲帶寬要求最高，能夠更全面、更準確地反映存儲在大規(guī)模AI集群的性能表現(xiàn)。
本次存儲性能測試共有業(yè)界主流的13廠商參與，通過運行一個分布式訓(xùn)練測試程序，模擬GPU計算過程，最大程度還原AI服務(wù)器對存儲系統(tǒng)的訪問模型。以模擬AI存儲系統(tǒng)能夠支撐的最大GPU數(shù)量，來評估存儲系統(tǒng)測試性能表現(xiàn)。其中3D U-Net工作負載每FLOPS算力所需存儲帶寬最高，且數(shù)據(jù)需要從存儲節(jié)點讀取，不允許提前在主機上緩存，能夠真實體現(xiàn)存儲系統(tǒng)性能，實際體現(xiàn)大模型存儲體驗。
本次獲得存儲性能測試全球第一的AI存儲——華為OceanStor A800，通過單臺設(shè)備成功滿足了255張GPU模擬訓(xùn)練的數(shù)據(jù)吞吐需求，GPU利用率保持90%以上，單框穩(wěn)定帶寬高達679 GB/s，是傳統(tǒng)存儲性能的10倍。平均每節(jié)點提供高達340GB/s帶寬，每U提供高達85GB/s的帶寬，分別是第二名2.88倍和1.44倍，體現(xiàn)了OceanStor A800全面領(lǐng)先的競爭力。同時可以通過OceanStor A800大規(guī)模橫向擴展提供百TB級帶寬，checkpoint讀寫時間從10分鐘縮短至秒級，斷點續(xù)訓(xùn)時間小于15分鐘，極大減少GPU等待，端到端算力利用率提升30%+，全面提升大模型訓(xùn)練效率。首次參與即在MLPerf Storage V1.0基準測試性能榜單登頂，這一成就不僅彰顯了華為數(shù)據(jù)存儲技術(shù)的卓越實力，更標志著華為數(shù)據(jù)存儲在業(yè)界又達成一個關(guān)鍵里程碑。
華為數(shù)據(jù)存儲深耕細作，持續(xù)創(chuàng)新，推出全新OceanStor A系列AI存儲。面向AI場景混合負載，基于全新硬件，打造架構(gòu)領(lǐng)先的存儲系統(tǒng)，具備卓越性能、EB級彈性擴展、推理長記憶等能力，全面加速AI大模型訓(xùn)推業(yè)務(wù)。
面向未來，華為AI存儲在AI大模型領(lǐng)域?qū)⒊掷m(xù)深耕，不斷突破性能極限，駕馭AI大模型數(shù)據(jù)浪潮，引領(lǐng)數(shù)據(jù)未來。
相關(guān)新聞
