Hindi
पेरिस में RAISE समिट में, DDN ने Nebul के साथ अपने चल रहे सहयोग का प्रदर्शन किया, जो एक यूरोपीय संप्रभु हाइब्रिड क्लाउड प्रदाता है, जो बड़े पैमाने पर AI अनुमान परिनियोजन के लिए दक्षता बढ़ाने पर केंद्रित है। पिछले हफ्ते अनावरण की गई, संयुक्त पहल Nebul के अनुमान मंच, DDN के Infinia डेटा इंटेलिजेंस आर्किटेक्चर और NVIDIA त्वरित कंप्यूटिंग को एक प्रमुख उत्पादन AI बाधा को हल करने के लिए जोड़ती है: अनुमान कार्यभार के दौरान डेटा मूवमेंट लागत और प्रदर्शन सीमाएं।
DDN सहयोग को महत्वपूर्ण उत्पादन मेट्रिक्स के आसपास फ्रेम करता है: GPU उपयोग, टोकन थ्रूपुट, प्रति टोकन लागत, और विलंबता। जबकि मॉडल प्रशिक्षण AI संपत्ति मूल्य बनाता है, अनुमान इसके परिचालन और वाणिज्यिक रिटर्न को परिभाषित करता है। एजेंटिक AI, पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG), और उच्च-समवर्ती अनुमान को अपनाने में वृद्धि का मतलब है कि भंडारण और डेटा अवसंरचना सीधे त्वरक दक्षता और AI प्रतिक्रिया गति को प्रभावित करती है।
इस सक्रिय प्रूफ-ऑफ-कॉन्सेप्ट परियोजना ने आशाजनक प्रारंभिक परिणाम दिए हैं। भागीदारों ने KV कैश सक्षम होने के साथ टाइम-टू-फर्स्ट-टोकन में मापने योग्य सुधार दर्ज किए हैं और RoCE-आधारित अवसंरचना के लिए सत्यापन पूरा किया है। चल रहे बेंचमार्किंग में लंबी अनुमान अनुक्रम लंबाई शामिल है, जो Infinia मंच के लिए आगे अनुकूलन क्षमता को अनलॉक करती है। सहयोग संयुक्त NVIDIA प्रयासों पर बेंचमार्किंग फ्रेमवर्क, स्केलेबिलिटी सत्यापन, और आगामी तकनीकी प्रकाशनों तक भी फैलता है।
एकीकृत मंच वितरित KV कैश सेवाओं, GPU-देशी डेटा मूवमेंट, बुद्धिमान डेटा ऑर्केस्ट्रेशन, और उच्च-प्रदर्शन भंडारण वास्तुकला का लाभ उठाता है। KV कैश त्वरण पूर्व-गणना ध्यान राज्यों को संरक्षित करके और तेजी से पुनः प्राप्त करके उल्लेखनीय अनुमान लाभ प्रदान करता है, अनावश्यक गणनाओं को काटता है और GPU निष्क्रियता का कारण बनने वाले डेटा वितरण में देरी को समाप्त करता है।
DDN, Nebul, और NVIDIA के नेताओं ने एक प्रमुख उद्योग बदलाव पर प्रकाश डाला: AI अवसंरचना प्राथमिकताएं कच्चे GPU परिनियोजन से परिचालन दक्षता की ओर बढ़ रही हैं, मौजूदा त्वरक हार्डवेयर से अधिकतम रिटर्न प्राप्त कर रही हैं। DDN के सीईओ एलेक्स बौज़ारी और Nebul के सीईओ अर्नोल्ड जुफ़र ने नोट किया कि बड़े मॉडल पैमानों पर अतीत का ध्यान कम प्रति-टोकन लागत के माध्यम से उत्पादन AI को व्यावसायिक रूप से व्यवहार्य बनाने के लिए अनुमान अर्थशास्त्र को अनुकूलित करने के लिए रास्ता दे चुका है। NVIDIA क्लाउड इंफ्रास्ट्रक्चर वीपी रॉड इवांस ने कहा कि बड़े पैमाने पर एजेंटिक कार्यभार अब केवल कंप्यूटिंग शक्ति के बजाय GPU उपयोग और विलंबता द्वारा अवसंरचना सफलता को मापते हैं।
DDN इस बात पर जोर देता है कि AI अवसंरचना को बुनियादी भंडारण कार्यों से परे विकसित होना चाहिए ताकि AI निष्पादन कार्यप्रवाहों का सक्रिय रूप से समर्थन किया जा सके। फर्म के अवसंरचना मंच वर्तमान में दुनिया भर में एक मिलियन से अधिक GPUs को शक्ति प्रदान करते हैं, जो हाइपरस्केलर्स, क्लाउड प्रदाताओं, उद्यमों, सरकारों और अनुसंधान संस्थानों की सेवा करते हैं।
आधुनिक AI अवसंरचना टीमें अब इन मुख्य उत्पादन मेट्रिक्स को प्राथमिकता देती हैं:
GPU उपयोग: अनुमान के दौरान प्रभावी त्वरक गतिविधि को मापता है, उच्च-अंत GPU हार्डवेयर के मूल्य को अधिकतम करता है।
प्रति टोकन लागत: AI मॉडल आउटपुट परिचालन लागतों से सीधे अवसंरचना प्रदर्शन को जोड़ता है।
प्रति वाट टोकन: AI अनुमान आउटपुट की ऊर्जा दक्षता का मूल्यांकन करता है।
पहले टोकन तक का समय: इंटरैक्टिव AI एप्लिकेशन प्रतिक्रिया और उपयोगकर्ता अनुभव निर्धारित करता है।
उत्पादन तक का समय: स्केलेबल वाणिज्यिक परिनियोजन में परीक्षण से AI सेवाओं को माइग्रेट करने के लिए परिचालन प्रयास को मापता है।
जैसे-जैसे अनुमान प्रमुख AI कार्यभार बन जाता है, उच्च GPU उपयोग और दीर्घकालिक परिचालन लागतों को नियंत्रित करने के लिए कम, स्थिर विलंबता के साथ GPUs को कैश किया गया संदर्भ और एंटरप्राइज़ डेटा वितरित करना महत्वपूर्ण होगा।
बीजिंग कियानक्सिंग जिएटोंग टेक्नोलॉजी कं, लिमिटेड
सैंडी यांग/ग्लोबल स्ट्रेटेजी डायरेक्टर
WhatsApp / WeChat: +86 13426366826
ईमेल: yangyd@qianxingdata.com
वेबसाइट: www.qianxingdata.com/www.storagesserver.com
व्यावसायिक फोकस:
आईसीटी उत्पाद वितरण/सिस्टम एकीकरण और सेवाएँ/अवसंरचना समाधान
20+ वर्षों के आईटी वितरण अनुभव के साथ, हम विश्वसनीय उत्पाद और पेशेवर सेवाएँ प्रदान करने के लिए अग्रणी वैश्विक ब्रांडों के साथ साझेदारी करते हैं।
“एक बुद्धिमान दुनिया बनाने के लिए प्रौद्योगिकी का उपयोग करना” आपके विश्वसनीय आईसीटी उत्पाद सेवा प्रदाता!
सैंडी यांग/ग्लोबल स्ट्रेटेजी डायरेक्टर
WhatsApp / WeChat: +86 13426366826
ईमेल: yangyd@qianxingdata.com
वेबसाइट: www.qianxingdata.com/www.storagesserver.com
व्यावसायिक फोकस:
आईसीटी उत्पाद वितरण/सिस्टम एकीकरण और सेवाएँ/अवसंरचना समाधान
20+ वर्षों के आईटी वितरण अनुभव के साथ, हम विश्वसनीय उत्पाद और पेशेवर सेवाएँ प्रदान करने के लिए अग्रणी वैश्विक ब्रांडों के साथ साझेदारी करते हैं।
“एक बुद्धिमान दुनिया बनाने के लिए प्रौद्योगिकी का उपयोग करना” आपके विश्वसनीय आईसीटी उत्पाद सेवा प्रदाता!