Oracle Cloud Infrastructure (OCI), WEKA NeuralMesh और Augmented Memory Grid सॉफ्टवेयर पर चल रहा है जो 10 गुना अधिक टोकन थ्रूपुट, 10 गुना अधिक समवर्ती उपयोगकर्ता और 7 गुना अधिक टोकन प्रति GPU प्रदान करता है,केवल स्थानीय DRAM पर निर्भर मानक OCI वातावरण की तुलना में.
WEKA® का ऑगमेंटेड मेमोरी ग्रिड NeuralMesh के माध्यम से बाहरी भंडारण का लाभ उठाकर एआई अनुमान के लिए GPU सर्वर मेमोरी का विस्तार करता है, जिससे बाहरी संसाधनों को उच्च प्रदर्शन वाले KV कैश में बदल दिया जाता है।यह माइक्रोसेकंड विलंबता और बहु-जीबी/सेकंड बैंडविड्थ प्रदान करता है, जो एनवीआईडीआईए के एसएक्स केवी कैशिंग आर्किटेक्चर के लिए पूर्ण संगतता के साथ अतिरिक्त मेमोरी एड्रेस स्पेस के पेटाबाइट तक की पेशकश करता है। न्यूरलमेश वीकेए का उच्च प्रदर्शन वाला एआई फ़ाइल सिस्टम है।सभी बेंचमार्क को 9 नोड ओसीआई नंगे धातु एच 100 क्लस्टर पर 100 के साथ मान्य किया गया था।,000-टोकन संदर्भ खिड़कियां।
ओसीआई में सॉफ्टवेयर डेवलपमेंट के वरिष्ठ निदेशक पाब्लो सलेम ने टिप्पणी कीः ′′उद्यम एआई वर्कलोड्स संदर्भ विंडो का विस्तार करते रहते हैं और जीपीयू उपयोग को नई सीमाओं तक बढ़ाते रहते हैं।ये बेंचमार्क साबित करते हैं कि WEKA का समाधान OCI पर GPU मेमोरी की बाधाओं को समाप्त करता है।, जो अतिरिक्त GPU हार्डवेयर निवेश के बिना बड़े, अधिक मांग वाले निष्कर्ष कार्यभार को सक्षम करता है।
WEKA नोट्स बढ़ रही निष्कर्ष मांग एआई बुनियादी ढांचे की अक्षमताओं को बढ़ाता है। लगातार KV कैश निकासी छिपे हुए ओवरहेड पैदा करती है जो GPU चक्रों को बर्बाद करती है, विलंबता बढ़ाती है,उपयोगकर्ता अनुभव को नुकसान पहुंचाता है और प्रति टोकन परिचालन लागत बढ़ाता है100,000 टोकन-प्लस इनपुट के साथ लंबे संदर्भ और एजेंटिक एआई वर्कलोड के लिए, इस तरह के ओवरहेड उत्पादन एआई तैनाती के इकाई अर्थशास्त्र को गंभीर रूप से नुकसान पहुंचाते हैं।
बेंचमार्क 9 नोड्स, 72 एच100 जीपीयू, 100,000 टोकन संदर्भ विंडो और हजारों समवर्ती उपयोगकर्ताओं पर बनाया गया था, जिसमें स्पष्ट प्रदर्शन अंतराल नीचे दिखाए गए हैंः
-
समवर्ती उपयोगकर्ता क्षमता: WEKA ने केवल DRAM सेटअप पर केवल 600 के मुकाबले 5,000 से अधिक समवर्ती उपयोगकर्ताओं का समर्थन किया। यह सक्रिय कैश को 8.64 TiB DRAM से 287 TiB NVMe फ्लैश स्टोरेज तक विस्तारित करके कैश संतृप्ति विफलताओं को रोकता है,अतिरिक्त GPU खरीद के बिना मौजूदा GPU हार्डवेयर पर ROI को अधिकतम करना.
-
टोकन थ्रूपुट: WEKA स्टैक प्रति सेकंड लगभग 2 मिलियन टोकन तक पहुंच गया, जो केवल DRAM प्रणालियों के 200,000 टोकन / सेकंड के आधार रेखा से 10 गुना तेज है।
-
टोकन प्रसंस्करण की कुल मात्रा: 2400 समवर्ती उपयोगकर्ताओं के साथ एक घंटे के परीक्षण में, WEKA ने 5 बिलियन टोकन को संसाधित किया, जबकि केवल DRAM सेटअप ने केवल 700 मिलियन टोकन को संसाधित किया।
एजेंटिक एआई कार्यप्रवाहों के लिए, अपर्याप्त डीआरएएम कैश संतृप्ति के बाद निरंतर जीपीयू पुनः गणना को ट्रिगर करता है, प्रति टोकन लागत को उठाता है और आरओआई को कम करता है।WEKA उत्पादन एआई सेवाओं के लिए समग्र टोकन लागत में काफी कटौती करता है.
खोज, सारांश, कोड सहायता और बहु-टर्न एजेंट सहित वास्तविक समय एआई सेवाओं के लिए, टोकन थ्रूपुट उपयोगकर्ता क्षमता के लिए सेवा सीमाओं को परिभाषित करता है,प्रतिक्रिया की गति और बुनियादी ढांचे के राजस्व की संभावना10 गुना थ्रूपुट में सुधार ओसीआई क्लस्टर के भीतर मूल जीपीयू कंप्यूटिंग शक्ति को पूरी तरह से अनलॉक करता है।
संक्षेप में, WEKA की मेमोरी विस्तार सॉफ्टवेयर क्लाउड प्लेटफार्मों को अधिक उपयोगकर्ताओं की सेवा करने, अधिक टोकन को संसाधित करने और परिचालन लागत को प्रभावी ढंग से कम करने में मदद करता है।
वेका के सीईओ लिरान ज़िबेल ने कहाः ′′अनुमान प्रदर्शन उपलब्ध जीपीयू प्रभावी मेमोरी द्वारा बाधा है। ये परिणाम साबित करते हैं कि हार्डवेयर अपग्रेड अकेले एआई टोकन आर्थिक मुद्दों को हल नहीं कर सकते हैं।वास्तविक सीमा लंबे समय से चल रही स्मृति दीवार GPU प्रदर्शन को प्रतिबंधित हैओसीआई पर वीकेए का समाधान स्वामित्व की कुल लागत को अनुकूलित करने के साथ टोकन प्रसंस्करण क्षमता को काफी बढ़ाता है।
ओसीआई ने अपने आधिकारिक एआई एंड डेटा साइंस ब्लॉग पर पूर्ण बेंचमार्क पद्धति, सिस्टम कॉन्फ़िगरेशन और पूर्ण परीक्षण परिणाम प्रकाशित किए हैं।
ऑगमेंटेड मेमोरी ग्रिड के साथ न्यूरलमेश अब सामान्य रूप से WEKA ग्राहकों के लिए उपलब्ध है और ओरेकल मार्केटप्लेस पर सूचीबद्ध है, जिसमें ओसीआई इसके विशेष क्लाउड लॉन्च पार्टनर के रूप में कार्य करता है।ओसीआई पर लंबे संदर्भ निष्कर्षण चलाने वाले उद्यम इस उत्पादन के लिए तैयार, पूरी तरह से मान्य वास्तुकला तुरंत.
बीजिंग कियानक्सिंग जीएटोंग टेक्नोलॉजी कं, लिमिटेड
सैंडी यांग/वैश्विक रणनीति निदेशक
व्हाट्सएप / वीचैटः +86 13426366826
ईमेलः yangyd@qianxingdata.com
वेबसाइटः www.qianxingdata.com/www.storagesserver.com
व्यापार फोकसः
आईसीटी उत्पाद वितरण/सिस्टम एकीकरण और सेवाएं/पूर्वाधार समाधान
20+ वर्षों के आईटी वितरण अनुभव के साथ, हम विश्वसनीय उत्पादों और पेशेवर सेवाओं को वितरित करने के लिए अग्रणी वैश्विक ब्रांडों के साथ साझेदारी करते हैं।
एक बुद्धिमान दुनिया के निर्माण के लिए प्रौद्योगिकी का उपयोग करना आपका विश्वसनीय आईसीटी उत्पाद सेवा प्रदाता!
आपका संदेश 20-3,000 अक्षरों के बीच होना चाहिए!
Hindi
