नेटएप न्यूक्लियस यूनिवर्सल डेटा प्रोसेसिंग इंजन (यूडीपीई) के निर्माता डेटापेलागो का अधिग्रहण करेगा, जो एनालिटिक्स और जेनरेटिव एआई के लिए विषम गणना को तेज करता है।
ओपन-सोर्स ग्लूटेन, वेलॉक्स और सबस्ट्रेट पर निर्मित, न्यूक्लियस असाधारण लागत-प्रदर्शन देने के लिए स्पार्क और ट्रिनो को काफी गति देता है। यह डेटा माइग्रेशन या वेंडर लॉक-इन के बिना मौजूदा लेकहाउस, एसक्यूएल, पायथन, एयरफ्लो, टेबल्यू, पावर बीआई और अन्य से निर्बाध रूप से जुड़ता है। सीईओ राजन गोयल और सीपीओ आनंद अय्यर द्वारा 2021 में स्थापित, डेटापेलागो अक्टूबर 2024 में चुपचाप बाहर निकल गया और $47 मिलियन 2024 वित्तपोषण दौर सहित कुल $75 मिलियन से अधिक जुटाया।
नेटएप के सीईओ जॉर्ज कुरियन ने कहा कि एआई हार्डवेयर को आगे बढ़ाने के लिए एंटरप्राइज डेटा वैल्यू को अनलॉक करने के लिए समान रूप से सक्षम डेटा इंफ्रास्ट्रक्चर की आवश्यकता होती है, और अधिग्रहण प्रतिस्पर्धी भेदभाव के लिए चुस्त डेटा प्रोसेसिंग प्रदान करने के लिए नेटएप की क्षमता को मजबूत करता है।
डेटापेलागो ब्लॉग में उल्लेख किया गया है कि न्यूक्लियस को मूल रूप से नेटएप के डेटा प्लेटफॉर्म के भीतर एम्बेड किया जाएगा, जिससे स्टार्टअप स्वतंत्र रूप से प्राप्त करने की तुलना में कहीं अधिक व्यापक उद्यम अपनाने में सक्षम होगा। इस साल की शुरुआत में, डेटापेलागो फास्ट कंपनी की 2026 विश्व की सबसे नवीन कंपनियों की सूची में डेटा साइंस में चौथे स्थान पर था।
डेटासेट को बाहरी सीपीयू/जीपीयू क्लस्टर में स्थानांतरित करने वाले पारंपरिक आर्किटेक्चर के विपरीत, न्यूक्लियस सीधे स्टोरेज स्तर पर त्वरित गणना चलाता है। एनवीडिया सीयूडीएफ के मुकाबले बेंचमार्क 10.5x तेज अनुमान, 10.1x तेज फिल्टर और 4.3x तेज एकत्रीकरण दिखाते हैं। क्वेरी इंजन (स्पार्क, ट्रिनो, फ्लिंक) और पायथन फ्रेमवर्क (रे, डस्क) के बीच स्थित, इसके स्टैक में तीन मॉड्यूलर परतें हैं:
1.डेटाऐप: स्पार्क, ट्रिनो और अन्य इंजनों में त्वरण डालने के लिए प्लग करने योग्य एकीकरण मॉड्यूल।
2.डेटाओएस: ऑर्केस्ट्रेशन परत स्केलेबल प्रदर्शन ट्यूनिंग के लिए मिश्रित त्वरक के लिए डेटा कार्यों को गतिशील रूप से मैप करती है।
3.डेटावीएम: डोमेन-विशिष्ट आईएसए के साथ कस्टम वर्चुअल मशीन, सीपीयू, जीपीयू, एफपीजीए और कस्टम सिलिकॉन के लिए एकीकृत निष्पादन अमूर्तता प्रदान करती है।
कोर डेटा निष्पादन प्रवाह
1. फ्रेमवर्क कनेक्टर्स के माध्यम से डेटा एक्सेस: मानक डेटा कनेक्टर्स के साथ संगत स्पार्क JAR प्लगइन्स के रूप में तैनात, Parquet, ORC, आइसबर्ग, डेल्टा लेक, JSON और S3, GCS, ADLS, HDFS और ऑन-प्रिमाइस एरेज़ सहित स्टोरेज लक्ष्यों का समर्थन करता है। मानक इंजन I/O परतों के माध्यम से मूल क्वेरी शब्दार्थ को बनाए रखते हुए त्वरण भंडारण एकीकरण तक विस्तारित होता है।
2. क्वेरी योजना और अनुकूलन: होस्ट इंजन एक भौतिक योजना तैयार करता है; डेटाएप इसे ग्लूटेन/सबस्ट्रेट के माध्यम से एक मध्यवर्ती प्रतिनिधित्व में परिवर्तित करता है। एक बुद्धिमान ऑप्टिमाइज़र इष्टतम डेटा प्रवाह ग्राफ़ बनाता है और डेटाओएस/डेटावीएम निष्पादन के लिए सीपीयू/जीपीयू संसाधन आवंटित करता है।
3.क्रॉस-हार्डवेयर डेटा ट्रांसफर अनुकूलन: ऑपरेटर/कर्नेल फ़्यूज़न और स्ट्रीमिंग निष्पादन I/O ओवरहेड में कटौती करने के लिए पूर्ण मध्यवर्ती भौतिकीकरण को समाप्त करता है। शून्य-कॉपी साझा मेमोरी सीपीयू-जीपीयू डेटा दोहराव को कम करती है, जबकि डेटावीएम का आईएसए स्तंभ वेक्टरकृत प्रसंस्करण के माध्यम से कार्यों को इष्टतम हार्डवेयर तक रूट करने के लिए एलएलवीएम, सीयूडीए और आरओसीएम का लाभ उठाता है। ये बदलाव क्रॉस-डोमेन डेटा शफ़लिंग को कम करके GPU उपयोग को 80-90% तक बढ़ा देते हैं।
न्यूक्लियस ऑन-प्रिमाइसेस और प्रमुख सार्वजनिक क्लाउडों पर काम करता है। इसका स्पार्क एक्सेलेरेटर डाटाब्रिक्स फोटॉन की तुलना में 3-4 गुना थ्रूपुट लाभ प्रदान करता है; यह ओपन टेबल फॉर्मेट प्रोसेसिंग और गोदाम को आपूर्ति करने वाली अपस्ट्रीम/डाउनस्ट्रीम स्पार्क/ट्रिनो पाइपलाइनों को तेज करके स्नोफ्लेक के साथ भी एकीकृत होता है। डेटापेलागो का कहना है कि न्यूक्लियस बुनियादी ढांचे की लागत में 80% तक की कटौती करता है और पुरानी पाइपलाइनों की तुलना में 10 गुना तेज प्रदर्शन प्रदान करता है। परिचालन और एआई सिस्टम के बीच अनिवार्य डेटा डुप्लिकेशन को हटाकर, यह वर्टिकल में बड़े वैश्विक उद्यमों में लाइव तैनाती के साथ प्राथमिक बाधा धीमा करने वाले उद्यम एआई रोलआउट को समाप्त करता है।
डेटापेलागो के सीईओ राजन गोयल ने कहा कि कंपनी का मुख्य मिशन एआई नवाचार में बाधा डालने वाली डेटा प्रोसेसिंग बाधाओं को हल करना है। नेटएप के साथ विलय ने इसकी सफल त्वरण तकनीक को नेटएप के व्यापक डेटा इंफ्रास्ट्रक्चर पोर्टफोलियो के साथ जोड़ दिया है; व्यवसायों ने जीपीयू और मॉडलों में भारी निवेश किया है, फिर भी खंडित डेटा साइलो का सामना करना पड़ता है जिससे हार्डवेयर का उपयोग कम हो जाता है, और संयुक्त स्टैक बड़े पैमाने पर एआई तैनाती को सुव्यवस्थित करता है।
नेटएप ने अधिग्रहण को एक ऐतिहासिक पोर्टफोलियो अपग्रेड के रूप में पेश किया है, जो एआई के लिए वास्तविक शून्य-कॉपी एंटरप्राइज़ डेटा सक्रियण प्रदान करने के लिए जीपीयू-त्वरित प्रसंस्करण को सीधे स्टोरेज वर्कफ़्लो में लाता है। लेन-देन के वित्तीय ब्यौरे का खुलासा नहीं किया गया है; न्यूक्लियस के एंटरप्राइज ट्रैक्शन, नेटएप एआईडीई के साथ मजबूत तालमेल और बढ़ती एजेंटिक एआई मांग को देखते हुए, खरीद मूल्यांकन संभवतः डेटापेलागो की कुल $75 मिलियन फंडिंग के 4-5 गुना के गुणक पर पहुंच जाएगा। डेटापेलागो पूर्ण स्वामित्व वाली नेटएप सहायक कंपनी के रूप में काम करेगी।
मुख्य अंतर: न्यूक्लियस बनाम केवी कैश बनाम नेटएप एआईडीई
1. न्यूक्लियस और केवी कैश भेदभाव: न्यूक्लियस जीपीयू सर्वर तक डेटा पहुंचने से पहले पूर्व-अनुमान डेटा अंतर्ग्रहण, परिवर्तन और क्वेरी को अनुकूलित करता है। एनवीडिया का केवी कैश एक इन-जीपीयू मेमोरी ऑप्टिमाइज़ेशन है जो टोकन जेनरेशन दक्षता को बढ़ावा देने के लिए जीपीयू हार्डवेयर पर डेटा आगमन के बाद ही सक्रिय होता है। न्यूक्लियस गणना करने के लिए डेटा वितरण को गति देता है; एक्सेलेरेटर पर डेटा लैंड होने के बाद केवी कैश मॉडल रनटाइम को अनुकूलित करता है।
2.नेटएप एआईडी बनाम न्यूक्लियस यूडीपीई: एआईडीई एलएलएम और एजेंटों के लिए ओएनटीएपी/एएफएक्स-लॉक एआई प्रीप्रोसेसिंग है, जो अंतर्निहित वेक्टर डेटाबेस, मेटाडेटा कैटलॉगिंग, आरएजी सेवा और एनवीडिया एआई एंटरप्राइज एकीकरण (एनआईएम वेक्टराइजेशन माइक्रोसर्विसेज सहित) के साथ मालिकाना ईटीएल के रूप में कार्य करता है। न्यूक्लियस भंडारण-अज्ञेयवादी है और सामान्य स्पार्क/ट्रिनो कार्यभार को तेज करता है। न्यूक्लियस को एआईडीई के साथ एकीकृत करने से परिवर्तन, प्रशिक्षण, फाइन-ट्यूनिंग और अनुमान पाइपलाइनें मजबूत होंगी, जिससे सीधे नेटएप एएफएक्स स्टोरेज पर त्वरित लेकहाउस वर्कलोड सक्षम हो जाएगा; एक एंड-टू-एंड AIDE+Nucleus बंडल समाधान अपेक्षित है।
नेटएप सीपीओ सियाम नायर ने टिप्पणी की कि न्यूक्लियस स्टोरेज में सॉफ्टवेयर-परिभाषित त्वरण प्रदान करता है, जिससे सीपीयू और जीपीयू में शून्य-कॉपी डेटा तैयारी, प्रशासन और एआई सक्रियण सक्षम होता है। नेटएप किसी भी प्रतिद्वंद्वी की तुलना में अधिक उद्यम बहु-पर्यावरण डेटा का प्रबंधन करता है, और एआई प्रतिस्पर्धात्मकता की अगली लहर अपने स्रोत पर डेटा प्रसंस्करण पर निर्भर करती है - डेटापेलागो की इंजीनियरिंग टीम इस रणनीतिक रोडमैप को तेज करती है।
बीजिंग कियानक्सिंग जिएतोंग टेक्नोलॉजी कंपनी लिमिटेड
सैंडी यांग/वैश्विक रणनीति निदेशक
व्हाट्सएप/वीचैट: +86 13426366826
ईमेल: angyd@qianxingdata.com
वेबसाइट: www.qianxingdata.com/www.storagesserver.com
व्यवसाय फोकस:
आईसीटी उत्पाद वितरण/प्रणाली एकीकरण एवं सेवाएँ/बुनियादी ढाँचा समाधान
20+ वर्षों के आईटी वितरण अनुभव के साथ, हम विश्वसनीय उत्पाद और पेशेवर सेवाएं प्रदान करने के लिए अग्रणी वैश्विक ब्रांडों के साथ साझेदारी करते हैं।
"एक बुद्धिमान दुनिया बनाने के लिए प्रौद्योगिकी का उपयोग करना" आपका विश्वसनीय आईसीटी उत्पाद सेवा प्रदाता!
आपका संदेश 20-3,000 अक्षरों के बीच होना चाहिए!
Hindi
