डीएलआईओ का उपयोग करके, हमने गहन चेकपॉइंटिंग परिदृश्यों के तहत ड्राइव के थ्रूपुट, विलंबता और विश्वसनीयता को मापने का लक्ष्य रखा। जबकि यह परीक्षण 61.44 टीबी डी5-पी5336 पर किया गया था, प्रारंभिक प्रदर्शन डेटा इंगित करता है कि सॉलिडगिम डी5-पी5336 122 टीबी संस्करण समान प्रदर्शन प्रोफ़ाइल प्रदान करता है। हमने इस परीक्षण में पीसीआईई जेन5 के लाभों को प्रदर्शित करने के लिए टीएलसी-आधारित डी7-पीएस1010 से परिणाम भी शामिल किए। हमने चेकपॉइंट के दोनों दृष्टिकोणों को प्रदर्शित करने के लिए इन दो ड्राइव का चयन किया: एक सबसे तेज संभव चेकपॉइंट समय पर ध्यान केंद्रित करता है, और दूसरा एक एसएसडी पर चेकपॉइंट की अधिकतम संख्या को संग्रहीत करने पर।

 

इस कार्य के लिए चुना गया प्लेटफ़ॉर्म उबंटू 22.04.02 एलटीएस चलाने वाला हमारा डेल पावरएज आर760 था। हमने 13 अगस्त, 2024 के रिलीज़ से डीएलआईओ बेंचमार्क संस्करण 2.0 का उपयोग किया। हमारी सिस्टम कॉन्फ़िगरेशन नीचे उल्लिखित है:

• 2 x इंटेल ज़ीऑन गोल्ड 6430 (32-कोर, 2.1GHz)
• 16 x 64GB DDR5-4400
• 480GB डेल बॉस एसएसडी
• सीरियल केबल जेन5 जेबीओएफ
  • 7.68TB सॉलिडगिम डी7-पीएस1010
  • 61.44TB सॉलिडगिम डी5-पी5336

यह सुनिश्चित करने के लिए कि हमारी बेंचमार्किंग वास्तविक दुनिया के परिदृश्यों को दर्शाती है, हमने एलएलएएमए 3.1 405बी मॉडल आर्किटेक्चर पर आधारित अपने परीक्षणों को आधारित किया, मॉडल मापदंडों, ऑप्टिमाइज़र राज्यों और परत राज्यों को कैप्चर करने के लिए टॉर्च.सेव() के माध्यम से चेकपॉइंटिंग को लागू किया। हमारे सेटअप ने 8-जीपीयू सिस्टम का अनुकरण किया, जिसमें चार-तरफा टेंसर समानांतर और दो-तरफा पाइपलाइन समानांतर प्रसंस्करण के साथ एक हाइब्रिड समानांतर रणनीति लागू की गई थी, जो आठ जीपीयू में वितरित की गई थी। इस कॉन्फ़िगरेशन के परिणामस्वरूप 1,636 जीबी के चेकपॉइंट आकार हुए, जो आधुनिक बड़े भाषा मॉडल प्रशिक्षण आवश्यकताओं का प्रतिनिधि है।

डीएलआईओ चेकपॉइंट वर्कलोड के लिए हमारी परीक्षण प्रक्रिया में प्रत्येक ड्राइव को समान उपयोगिता स्तर तक भरना शामिल था। 61.44 टीबी सॉलिडगिम डी5-पी5336 के लिए, प्रत्येक पास में 33 चेकपॉइंट अंतराल शामिल थे, कुल 54 टीबी। छोटा 7.68 टीबी डी7-पीएस1010 आराम से तीन चेकपॉइंट अंतराल में फिट हुआ, जिसका कुल पदचिह्न 4.9 टीबी था। एक अतिरिक्त चेकपॉइंट डी7-पीएस1010 में फिट हो सकता था, हालांकि इसने इसके उपयोग को थोड़ा अधिक कर दिया जितना हम चाहते थे।

जब हमने जेन4 क्यूएलसी-आधारित 61.44 टीबी डी5-पी5536 की तुलना जेन5 टीएलसी-आधारित 7.68 टीबी डी7-पीएस1010 से की, तो डीएलआईओ चेकपॉइंट वर्कलोड ने दिलचस्प परिणाम दिए। पहले पास के दौरान, जैसे-जैसे ड्राइव भरते गए, हमने दो एसएसडी मॉडल के बीच प्रदर्शन में एक बड़ा अंतर देखा। तेज जेन5 पीएस1010 ने औसतन 464 सेकंड में प्रत्येक चेकपॉइंट पूरा किया, जबकि जेन4 पी5336 से 623 सेकंड लगे। दूसरे और तीसरे पास में, पीएस1010 के लिए 579 और 587 सेकंड और पी5336 के लिए 676 और 680 सेकंड तक का अंतर कम हो गया।

उन व्यवसायों के लिए जो चेकपॉइंटिंग अंतराल में सबसे छोटा संभव अंतर रखना चाहते हैं, टीएलसी-आधारित जेन5 पीएस1010 सबसे तेज पूर्णता समय में एक लाभ प्रदान करता है। यदि लक्ष्य लागत-प्रभावी ढंग से कई चेकपॉइंट बनाए रखना है, तो क्यूएलसी-आधारित जेन4 पी5336 ऐसा कर सकता है। हमने दूसरे और तीसरे पास के दौरान दोनों ड्राइव के बीच औसत चेकपॉइंट समय में 17% से कम का अंतर मापा।

जीपीयू डायरेक्ट स्टोरेज बैंडविड्थ

जबकि डीएलआईओ एक एआई वर्कफ़्लो में फ्लैश प्रदर्शन दिखाता है, वर्कलोड पूरी तरह से राइट-आधारित है जब तक कि कोई चेकपॉइंट बहाल न हो जाए। एआई वर्कलोड में सॉलिडगिम डी7-पीएस1010 और डी5-पी5336 की पूरी तस्वीर पेश करने के लिए, हमने जीडीएसआईओ का उपयोग करके रीड बैंडविड्थ माप शामिल किए।

जीपीयू डायरेक्ट स्टोरेज कैसे काम करता है

परंपरागत रूप से, जब कोई जीपीयू एनवीएमई ड्राइव पर संग्रहीत डेटा को संसाधित करता है, तो डेटा को जीपीयू तक पहुंचने से पहले सीपीयू और सिस्टम मेमोरी से गुजरना पड़ता है। यह प्रक्रिया बाधाएं पैदा करती है, क्योंकि सीपीयू एक मध्यस्थ बन जाता है, विलंबता जोड़ता है और मूल्यवान सिस्टम संसाधनों का उपभोग करता है। जीपीयू डायरेक्ट स्टोरेज इस अक्षमता को समाप्त करता है, जिससे जीपीयू को पीसीआईई बस के माध्यम से सीधे स्टोरेज डिवाइस से डेटा एक्सेस करने की अनुमति मिलती है। यह सीधा पथ डेटा आंदोलन से जुड़े ओवरहेड को कम करता है, जिससे तेज और अधिक कुशल डेटा स्थानांतरण होता है।

एआई वर्कलोड, विशेष रूप से डीप लर्निंग से जुड़े, अत्यधिक डेटा-गहन होते हैं। बड़े तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए टेराबाइट डेटा को संसाधित करने की आवश्यकता होती है, और डेटा स्थानांतरण में कोई भी देरी कम उपयोग किए गए जीपीयू और लंबे प्रशिक्षण समय का कारण बन सकती है। जीपीयू डायरेक्ट स्टोरेज यह सुनिश्चित करके इस चुनौती का समाधान करता है कि डेटा जीपीयू को यथासंभव तेज़ी से वितरित किया जाए, निष्क्रिय समय को कम किया जाए और कम्प्यूटेशनल दक्षता को अधिकतम किया जाए।

डीएलआईओ परीक्षण की तरह, लक्ष्य उच्च-गति जेन5 एसएसडी और उच्च-क्षमता क्यूएलसी ड्राइव के बीच अंतर को बेहतर ढंग से समझना और चित्रित करना है। हर एआई वर्कलोड एक जैसा नहीं होता है, और प्रत्येक ड्राइव विशिष्ट लाभ प्रदान करती है, जो आवश्यकता पर निर्भर करता है।

परीक्षण कॉन्फ़िगरेशन मैट्रिक्स

हमने अपने परीक्षण प्लेटफ़ॉर्म में एनवीडिया एल4 के साथ निम्नलिखित मापदंडों के प्रत्येक संयोजन का व्यवस्थित रूप से परीक्षण किया:

• ब्लॉक आकार: 1M, 128K, 64K, 16K, 8K
• थ्रेड गणना: 128, 64, 32, 16, 8, 4, 1
• जॉब गणना: 16
• बैच आकार: 16

हमारी पहली नज़र क्यूएलसी-आधारित डी5-पी5336 पर थी, जो 128 के आईओ गहराई पर 1 एम ट्रांसफर आकार का उपयोग करके 4.2 गिबी/एस तक पहुंच गई। ब्लॉक आकारों के प्रभाव ने 8K से 1M तक जाने वाले बैंडविड्थ में एक महत्वपूर्ण वृद्धि की। बढ़ी हुई आईओ गहराई का लाभ 32 पर टैपर होना शुरू हो गया, जहां वर्कलोड समतल होने लगे।

अगला, हम जेन5 पीएस-1010 को देखते हैं, जो 1 एम ब्लॉक आकार और 128 की आईओ गहराई पर 6.2 गिबी/एस तक स्केल कर सकता है। सभी तरफ, इसने जेन4-आधारित पी5336 को बेहतर प्रदर्शन किया, जिसमें विशेष वर्कलोड ने एक महत्वपूर्ण वृद्धि का प्रदर्शन किया। सुधार का एक उल्लेखनीय क्षेत्र 128K ब्लॉकसाइज में आया, जहां 64 और 128 की आईओ गहराई पर, पीएस1010 ने पी5336 के दोगुने रीड बैंडविड्थ की पेशकश की।

यह ध्यान रखना महत्वपूर्ण है कि दोनों एसएसडी का परीक्षण एनवीडिया एल4 का उपयोग करके किया गया था। जबकि जेन4 डी5-पी5336 अपने शीर्ष छोर पर या उसके करीब है, एच100 जैसे ऊपरी-मॉडल एनवीडिया जीपीयू ने डी7-पीएस1010 के साथ उच्च प्रदर्शन का प्रदर्शन किया। एक ड्राइव की गति कुछ ग्राहकों के लिए अंतिम निर्णायक कारक है, जबकि अन्य समग्र घनत्व को प्राथमिकता देते हैं।सॉलिडगिमके लिए समाधान प्रदान करता हैदोनों, अपने साथक्यूएलसी और टीएलसी एसएसडी प्रसाद।

निष्कर्ष