आईबीएम स्टोरेज स्केल समानांतर फाइल सिस्टम एनवीआईडीआईए डायनमो के साथ जोड़े गए वितरित केवी कैश प्रबंधन का समर्थन करता है, जो बड़े पैमाने पर संदर्भ वर्कलोड के साथ बड़े पैमाने पर एआई अनुमान परिदृश्यों को पूरा करता है।
आईबीएम ने शीर्षक से एक आधिकारिक रेडबुक जारी की हैबिना किसी सीमा के संदर्भ: बड़े पैमाने पर एआई अनुमान के लिए एक उच्च प्रदर्शन केवी कैश प्लेटफ़ॉर्म, इस संयुक्त समाधान के लिए एक पूर्ण मान्य संदर्भ वास्तुकला प्रदान करना। एकीकृत स्टैक एआई अनुमान के लिए एक उच्च-प्रदर्शन साझा स्टोरेज टियर बनाने के लिए सुपरमाइक्रो पेटास्केल स्टोरेज सर्वर, एनवीआईडीआईए स्पेक्ट्रम-एक्स ईथरनेट नेटवर्किंग और आईबीएम स्टोरेज स्केल इरेज़र कोडिंग एडिशन (ईसीई) को जोड़ता है। आईबीएम आईटीएसओ (अंतर्राष्ट्रीय तकनीकी सहायता संगठन) द्वारा प्रकाशित आधिकारिक तकनीकी दस्तावेजों के रूप में, आईबीएम रेडबुक्स एंटरप्राइज-ग्रेड आईबीएम इंफ्रास्ट्रक्चर उत्पादों के लिए व्यावहारिक, गहन तैनाती मार्गदर्शन प्रदान करता है।
आईबीएम, सुपरमाइक्रो और एनवीआईडीआईए की इंजीनियरिंग टीमों द्वारा सह-लेखक, रेडबुक लंबे-संदर्भ वाले एआई वर्कलोड के मुख्य समस्या बिंदु को संबोधित करता है। मल्टी-टर्न संवाद सहायकों, आरएजी पुनर्प्राप्ति अनुप्रयोगों और स्वायत्त एजेंट पाइपलाइनों सहित उपयोग के मामले जीपीयू एचबीएम के अंदर बड़े पैमाने पर केवी कैश डेटा उत्पन्न करते हैं। एक बार कैश्ड डेटा को सीमित एचबीएम संसाधनों से हटा दिया जाता है, तो बार-बार पुनर्गणना गंभीर विलंबता वृद्धि को ट्रिगर करेगी, जिससे लगातार क्रॉस-रिक्वेस्ट केवी कैश स्टोरेज अपरिहार्य हो जाएगा।
समाधान विभिन्न विलंबता और क्षमता मांगों को कवर करने वाले पांच-स्तरीय पदानुक्रमित केवी कैश आर्किटेक्चर को अपनाता है:
-
G1 परत: जीपीयू नोड स्थानीय एचबीएम
-
G2 परत: सीपीयू नोड सिस्टम DRAM
-
जी3 परत: डायरेक्ट-अटैच्ड लोकल एसएसडी
-
G3.5 परत: पॉड-स्तरीय साझा फ्लैश स्टोरेज, जीपीयू सर्वर डीपीयू से सीधे इंटरकनेक्शन के साथ एनवीआईडीआईए ब्लूफील्ड डीपीयू द्वारा संचालित
-
जी4 परत: बाहरी क्रॉस-ईथरनेट साझा स्टोरेज पूल सभी जीपीयू कंप्यूट सर्वर से जुड़ा हुआ है
एंड-टू-एंड मेमोरी और स्टोरेज पदानुक्रम को कवर करते हुए, यह मल्टी-टियर सेटअप निरंतर विलंबता और क्षमता ग्रेडिएंट प्रदान करता है। यह NVIDIA डायनेमो को संपूर्ण स्टोरेज स्टैक में इंटेलिजेंट कैश प्लेसमेंट, स्वचालित निष्कासन और गतिशील डेटा रीलोडिंग करने में सक्षम बनाता है, जो विभिन्न वर्कलोड एक्सेस पैटर्न और कुल बुनियादी ढांचे लागत बजट के लिए लचीले ढंग से अनुकूलन करता है।
सुपरमाइक्रो पेटास्केल स्टोरेज सर्वर पर तैनात, स्टोरेज स्केल ईसीई जी4 कोल्ड कैश टियर के रूप में कार्य करता है। यह गैर-विलंबता-संवेदनशील केवी कैश डेटा के लिए अनुकूलित है, जिसमें निष्क्रिय मल्टी-टर्न वार्तालाप स्थिति, साझा एजेंट संदर्भ डेटा और ऐतिहासिक क्वेरी रिकॉर्ड शामिल हैं जिन्हें तत्काल प्रतिक्रिया की आवश्यकता नहीं होती है।
रेडबुक में दर्ज परीक्षण परिणामों के अनुसार, यह उत्पादन-तैयार संदर्भ वास्तुकला जेनरेटिव एआई और एजेंटिक एआई अनुमान सेवाओं को प्रभावी ढंग से तेज करती है। बाहरी स्टोरेज स्केल केवी कैश के बिना स्टैंडअलोन जीपीयू सर्वर की तुलना में एकल-अनुरोध टीटीएफटी (टाइम टू फर्स्ट टोकन) परीक्षणों में, एकीकृत प्रणाली शीघ्र लंबाई परिवर्तन की परवाह किए बिना स्थिर टीटीएफटी बनाए रखती है। यह एक उपलब्धि हासिल करता है56x स्पीडअप130k-टोकन इनपुट अनुक्रमों के तहत और विस्तारित प्रॉम्प्ट लंबाई के कारण होने वाले अनुमान विलंबता के उतार-चढ़ाव को पूरी तरह से समाप्त कर देता है।
समवर्ती बहु-उपयोगकर्ता अनुमान दबाव के तहत, समाधान नाटकीय प्रदर्शन सुधार प्राप्त करता है: अनुरोध थ्रूपुट 0.19 आरपीएस से 4.26 आरपीएस तक बढ़ जाता है, जो एक अंकन करता है22x थ्रूपुट बूस्ट. इस बीच, 200 अनुमान अनुरोधों के लिए कुल प्रसंस्करण समय 95% कम हो जाता है, जिससे जीपीयू उपयोग दक्षता और समग्र अनुमान क्लस्टर स्केलेबिलिटी में काफी वृद्धि होती है।
स्टैक कठोर शोर-पड़ोसी तनाव परीक्षणों के तहत भी मजबूत प्रदर्शन बनाए रखता है। चार क्लाइंट सिरों के साथ निरंतर 200 जीबी/एस प्रतिस्पर्धी नेटवर्क I/O ट्रैफ़िक उत्पन्न करते हुए, एकीकृत सिस्टम अभी भी 3.6 आरपीएस पर स्थिर रूप से चलता है, सभी 200 अनुमान अनुरोधों को 55.56 सेकंड के भीतर पूरा करता है। इसका थ्रूपुट रहता है18 गुना अधिकबेसलाइन जीपीयू-केवल पुनर्गणना आर्किटेक्चर की तुलना में।
अनुसंधान टीम ने रेडबुक में निष्कर्ष निकाला: "महंगे जीपीयू हार्डवेयर निवेश पर आरओआई को अधिकतम करने का लक्ष्य रखने वाले उद्यमों के लिए, यह सत्यापित एकीकृत आर्किटेक्चर अनुमान थ्रूपुट को बढ़ावा देने, एंड-टू-एंड विलंबता में कटौती, उच्च सेवा संगामिति का समर्थन करने और अधिक लागत प्रभावी बड़े पैमाने पर एआई अनुमान बुनियादी ढांचे के निर्माण के लिए एक सीधा, उत्पादन-तैयार दृष्टिकोण प्रदान करता है।"
कीवर्ड: सुपरमाइक्रो, आईबीएम स्टोरेज स्केल, एनवीडिया डायनेमो
बीजिंग कियानक्सिंग जिएतोंग टेक्नोलॉजी कंपनी लिमिटेड
सैंडी यांग/वैश्विक रणनीति निदेशक
व्हाट्सएप/वीचैट: +86 13426366826
ईमेल: angyd@qianxingdata.com
वेबसाइट: www.qianxingdata.com/www.storagesserver.com
व्यवसाय फोकस:
आईसीटी उत्पाद वितरण/प्रणाली एकीकरण एवं सेवाएँ/बुनियादी ढाँचा समाधान
20+ वर्षों के आईटी वितरण अनुभव के साथ, हम विश्वसनीय उत्पाद और पेशेवर सेवाएं प्रदान करने के लिए अग्रणी वैश्विक ब्रांडों के साथ साझेदारी करते हैं।
"एक बुद्धिमान दुनिया बनाने के लिए प्रौद्योगिकी का उपयोग करना" आपका विश्वसनीय आईसीटी उत्पाद सेवा प्रदाता!
आपका संदेश 20-3,000 अक्षरों के बीच होना चाहिए!
Hindi
