<del id="aymay"></del> 北京2024年11月21日 /美通社/ -- 隨著智能時代的全面到來，數據量呈現出爆炸性增長，這對存儲系統(tǒng)提出了前所未有的高標準要求。從早期的"百模大戰(zhàn)"演進至"千模大戰(zhàn)"，現已邁入了一個以數據為核心的新時代，其中數據成為了算法與算力不可或缺的基礎支撐。
在近期舉行的2024中國數據與存儲峰會上，浪潮信息分布式存儲產品部總經理姜樂果發(fā)表了題為《智能時代的數據存儲平臺》的主題演講。在演講中，姜樂果深刻剖析了智能時代背景下數據存儲所面臨的挑戰(zhàn)及浪潮信息為應對這些挑戰(zhàn)所做出的不懈努力與創(chuàng)新實踐。
智能時代下的數據存儲需求
無論是金融領域的風險精準識別、智慧交通中的自動駕駛技術、制造業(yè)中的精密質量檢測，還是科研領域的高效計算探索，都深深依賴于海量數據的強大支持。然而，數據的迅猛增長也給存儲系統(tǒng)帶來了諸多前所未有的嚴峻挑戰(zhàn)，這些挑戰(zhàn)涵蓋了更高的性能需求、更靈活的擴展能力，以及更智能化的管理機制等多個方面。
在人工智能時代，數據作為最為關鍵的載體，其計算過程中的存儲環(huán)節(jié)面臨著性能、效率和韌性這三大核心挑戰(zhàn)。
姜樂果在演講中著重指出，數據存儲的性能已經成為制約眾多應用場景進一步發(fā)展的關鍵因素之一。相較于以往，大模型的訓練對存儲性能的需求已經躍升了多個數量級。在傳統(tǒng)時代，存儲性能往往停留在百GB級的水平，而到了大模型訓練的時代，這一需求已經激增到TB級。這意味著，如果沒有足夠快速的存儲設備作為支撐，數據的讀寫時間將會大幅度延長，進而導致GPU等昂貴且寶貴的計算資源處于閑置狀態(tài)，造成資源的極大浪費。
除了性能之外，數據存儲的效率也是至關重要的。在當今這個數據多源異構的時代，數據來源于網絡、云端以及政府機構等多個渠道，如何迅速有效地對這些數據進行清洗、整合，并最終形成有價值的數據資源，成為了一個亟待解決的難題。
此外，從國家政策的角度來看，數據要素已經被正式納入資產負債表，成為了企業(yè)資產中不可或缺的一部分。這一舉措不僅彰顯了數據的巨大價值，同時也對存儲系統(tǒng)的安全性與可靠性提出了更為嚴格的要求，以確保數據的完整性和保密性。
浪潮信息的創(chuàng)新探索與實踐
面對智能時代的種種挑戰(zhàn)，浪潮信息已經形成了清晰的存儲平臺構建策略。
在產品布局上，浪潮信息針對大模型訓練推出了軟件定義存儲，它融合了塊、文件、對象和大數據等多種存儲類型，注重提供極致的性能和容量，并能夠同時管理上層業(yè)務應用和第三方存儲資源。而對于推理場景，浪潮信息則推出了陣列存儲，利用傳統(tǒng)盤陣的微秒級延時優(yōu)勢，能夠迅速響應如人工智能駕駛等高要求場景的需求。此外，浪潮信息還自主研發(fā)了SSD，通過打通IO路徑，進一步提升了存儲效率。
為了提升性能，浪潮信息采用了端到端的優(yōu)化策略。結合SSD和技術架構的演進，通過智能運行、緩存和自解鎖等技術，對軟件架構進行了重構。這使得小文件性能提升了5倍以上，大文件性能提升了10倍。在訓練過程中，CheckPoint操作實現了秒級讀寫，TB級帶寬的案例有效減少了GPU時延的浪費，從而提升了訓練效率。
在智能空間管理方面，浪潮信息去除了本地文件系統(tǒng)，直接管理裸盤，并預分配空間和權限到計算節(jié)點。這種方式減少了原數據的訪問，使得空間利用率達到了95%以上，同時性能沒有衰減，進一步縮短了大模型訓練的時間。
融合存儲優(yōu)化管理：浪潮信息軟件定義存儲從2016年自研至今不斷發(fā)展，通過和客戶業(yè)務深度結合的方式，推動產品從文件、對象融合逐步向四合一、五合一邁進。到目前，存儲對內可以實現多協(xié)議互訪互通、語義無損，同時只需要保存一份數據供多種協(xié)議訪問；存儲對外可通過全局文件系統(tǒng)支持數據跨介質、跨終端、跨域流動，實現一套存儲管理所有平臺，優(yōu)化存儲效率。
安全可靠保障業(yè)務：數據資產入表對安全性和可靠性要求高，浪潮信息在風險防控上檢測率高、誤報漏報率低，達到萬分之2.9。利用AIOps功能預測性能、容量趨勢和故障盤，提前預警處理，減少盤體故障導致的存儲宕機。
在全球存儲市場中，浪潮信息存儲裝機容量位居前三，企業(yè)存儲業(yè)務在中國位居第二，全閃存儲銷售額同樣在中國市場占據領先地位。隨著大數據、云計算、人工智能等技術的快速發(fā)展，數據存儲需求日益多樣化且復雜化。基于此，浪潮信息憑借深厚的技術研發(fā)底蘊，積極推動場景共同體建設，與合作伙伴共同探索解決方案、定制產品，并協(xié)同拓展市場，共同推動存儲領域的進步。展望未來，浪潮信息將不斷致力于提供更加優(yōu)質、高效、安全的存儲解決方案，以應對市場對高效、可靠存儲的迫切需求，為各行各業(yè)的數字化轉型和智能化升級提供堅實支撐。
