Hindi
IBM ने एक कंटेंट-अवेयर स्टोरेज (CAS) आर्किटेक्चर का अनावरण किया है जो सीधे स्टोरेज लेयर के भीतर AI डेटा प्रोसेसिंग को एम्बेड करता है। यह दृष्टिकोण रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) वर्कफ़्लो के लिए तैयार किया गया है, क्योंकि यह दस्तावेज़ वेक्टरिज़ेशन को स्टोरेज सिस्टम में ही एकीकृत करता है - बाहरी प्रीप्रोसेसिंग पाइपलाइनों की आवश्यकता को कम करता है।
CAS एक प्रमुख RAG फ़ंक्शन को स्थानांतरित करता है - बड़े भाषा मॉडल (LLM)-आधारित विधियों के माध्यम से दस्तावेज़ एम्बेडिंग - स्टोरेज इंफ्रास्ट्रक्चर में। यह उद्यमों को उनके मौजूदा स्थान पर डेटा को संसाधित और अनुक्रमित करने की अनुमति देता है, स्टोरेज सिस्टम को AI-संचालित वर्कलोड के साथ संरेखित करता है और विभिन्न इंफ्रास्ट्रक्चर टियर में डेटा मूवमेंट को कम करता है। IBM इसे परिनियोजन को सरल बनाने के साथ-साथ प्रदर्शन को बढ़ावा देने और AI अनुप्रयोगों के लिए डेटा स्थानीयता को बढ़ाने के साधन के रूप में स्थापित करता है।
वेक्टर डेटाबेस एट स्केल
IBM के CAS कार्यान्वयन के मूल में सिमेंटिक खोज के लिए अनुकूलित एक वेक्टर डेटाबेस है। वेक्टर डेटाबेस अनुमानित निकटतम-पड़ोसी (ANN) खोज का समर्थन करते हैं, जिससे AI सिस्टम को कोसाइन समानता या L2 दूरी जैसे समानता मेट्रिक्स के आधार पर प्रासंगिक डेटा चंक्स को पुनः प्राप्त करने में सक्षम बनाया जाता है। यह क्षमता RAG के लिए मौलिक है, जहां उपयोगकर्ता प्रश्नों को वैक्टर में परिवर्तित किया जाता है और संदर्भ-जागरूक प्रतिक्रियाएं प्रदान करने के लिए अनुक्रमित उद्यम डेटा के खिलाफ मिलान किया जाता है।
IBM CAS चार्टस्रोत: IBM
IBM रिसर्च ने सैमसंग और NVIDIA के सहयोग से, एक प्रोटोटाइप सिस्टम का प्रदर्शन किया जो एक ही सर्वर पर 100 बिलियन वैक्टर तक स्केल करने में सक्षम है। सिस्टम ने 90 प्रतिशत से अधिक रिकॉल और सटीकता हासिल की, जिसमें औसत क्वेरी विलंबता 700 मिलीसेकंड से कम थी। यह पैमाना उद्यम वातावरण के लिए है जहां डेटासेट अरबों फ़ाइलों तक फैले हो सकते हैं, और एक बार पूरी तरह से अनुक्रमित होने के बाद, सैकड़ों अरबों वैक्टर तक बढ़ सकते हैं।
RAG पाइपलाइन एकीकरण
RAG उद्यम AI के लिए एक पसंदीदा दृष्टिकोण बन रहा है, क्योंकि यह मॉडल री-ट्रेनिंग की आवश्यकता के बिना आउटपुट सटीकता को बढ़ाता है। यह एक वेक्टर डेटाबेस से प्राप्त उद्यम-विशिष्ट डेटा के साथ प्रॉम्प्ट को पूरक करके काम करता है।
पाइपलाइन डेटा अंतर्ग्रहण के साथ शुरू होती है, जहां पीडीएफ और प्रस्तुतियों जैसे दस्तावेजों को पार्स किया जाता है, चंक्स में विभाजित किया जाता है, और एम्बेडिंग में परिवर्तित किया जाता है। ये एम्बेडिंग एक वेक्टर डेटाबेस में संग्रहीत होते हैं जो कुशल समानता खोज के लिए डेटा को व्यवस्थित करता है। क्वेरी के दौरान, उपयोगकर्ता इनपुट को एम्बेड किया जाता है और संग्रहीत वैक्टर के खिलाफ मिलान किया जाता है, जिसमें प्रासंगिक सामग्री को संदर्भ के रूप में भाषा मॉडल में पारित किया जाता है। यह ग्राउंडिंग तंत्र मतिभ्रम को कम करता है और AI-जनित आउटपुट में विश्वास बढ़ाता है।
IBM का CAS इस पूरी पाइपलाइन को सीधे स्टोरेज में एकीकृत करता है, डेटा के निकट अंतर्ग्रहण, अनुक्रमण और पुनर्प्राप्ति को समेकित करता है।
स्केल और लागत चुनौतियों का समाधान
उद्यम स्टोरेज सिस्टम पहले से ही पेटाबाइट स्केल पर काम करते हैं। जब CAS तक बढ़ाया जाता है, तो प्रत्येक फ़ाइल सैकड़ों वैक्टर उत्पन्न कर सकती है, जिससे डेटासेट का आकार तेज़ी से बढ़ सकता है। पारंपरिक वेक्टर डेटाबेस आमतौर पर कई सर्वरों में स्केल आउट होते हैं, जिससे अतिरिक्त लागत और परिचालन जटिलताएँ आती हैं। बड़े डेटासेट को अनुक्रमित और पुनः अनुक्रमित करना भी समय लेने वाले कार्य बन जाते हैं।
IBM का दृष्टिकोण वेक्टर घनत्व में सुधार और अनुक्रमण ओवरहेड को कम करने पर केंद्रित है ताकि इंफ्रास्ट्रक्चर स्प्राउल को सीमित किया जा सके। आर्किटेक्चर वेक्टर और इंडेक्स स्टोरेज को क्वेरी कंप्यूट से अलग करता है, जिससे स्टोरेज और कंप्यूट संसाधनों का स्वतंत्र स्केलिंग संभव होता है। यह IBM स्टोरेज स्केल और इसके उच्च-प्रदर्शन समानांतर फ़ाइल सिस्टम द्वारा संभव बनाया गया है।
स्टोरेज और हार्डवेयर आर्किटेक्चर
CAS कार्यान्वयन IBM स्टोरेज स्केल सिस्टम 6000 (ESS 6000) का लाभ उठाता है, जो AI और उच्च-प्रदर्शन वर्कलोड के लिए डिज़ाइन किया गया एक ऑल-फ्लैश प्लेटफ़ॉर्म है। सिस्टम 4U एनक्लोजर प्रति 48 NVMe ड्राइव तक का समर्थन करता है, जिसमें व्यक्तिगत ड्राइव क्षमताएं 7 TB से 60 TB तक होती हैं। यह PCIe Gen5, 400 Gb InfiniBand, या 200 Gb ईथरनेट कनेक्टिविटी को एकीकृत करता है, जो प्रति नोड 340 GB/s तक रीड और 175 GB/s राइट थ्रूपुट प्रदान करता है, साथ ही 7 मिलियन IOPS तक प्रदान करता है।
प्लेटफ़ॉर्म NVIDIA GPUDirect स्टोरेज का भी समर्थन करता है, जो स्टोरेज और GPUs के बीच सीधे डेटा पथ की सुविधा प्रदान करता है, साथ ही नेटवर्क और डेटा प्रोसेसिंग कार्यों को ऑफ़लोड करने के लिए BlueField-3 DPUs का भी समर्थन करता है।
सैमसंग PM9D3a PCIe Gen5 NVMe SSDs उच्च-थ्रूपुट, उच्च-घनत्व स्टोरेज प्रदान करते हैं। आठवीं पीढ़ी के TLC V-NAND पर आधारित, ये ड्राइव प्रति डिवाइस 30.72 TB तक प्रदान करते हैं, जिसमें 12 GB/s तक की अनुक्रमिक रीड गति और 6.8 GB/s तक की राइट गति होती है। व्यावसायिक रूप से उपलब्ध एंटरप्राइज़ SSDs का उपयोग वास्तुकला को मानक घटकों का उपयोग करके स्केल करने की अनुमति देता है।
पदानुक्रमित अनुक्रमण और GPU त्वरण
स्केल पर अनुक्रमण से निपटने के लिए, IBM ने एक पदानुक्रमित अनुक्रमण मॉडल विकसित किया है जिसमें कई उप-सूचकांक शामिल हैं जिन्हें स्वतंत्र रूप से अनुकूलित किया जा सकता है। यह संरचना पूरे डेटासेट को बाधित किए बिना वृद्धिशील अपडेट और स्थानीयकृत री-इंडेक्सिंग को सक्षम करती है, जिससे उपलब्धता और परिचालन दक्षता दोनों में सुधार होता है।
GPU त्वरण CPU-ओनली दृष्टिकोण की तुलना में अनुक्रमण समय को काफी कम कर देता है। CPU पर घंटों लगने वाले कार्यों को NVIDIA GPUs का उपयोग करके मिनटों में पूरा किया जा सकता है। परीक्षण में, 100 बिलियन वैक्टर के लिए इंडेक्स बनाने में 4 NVIDIA H200 GPUs के साथ 4 दिन लगे, जबकि एक डुअल-सॉकेट CPU सिस्टम पर अनुमानित 120 दिन लगे।
पूर्ण डेटासेट, जिसमें वैक्टर और इंडेक्स शामिल हैं, ने लगभग 153 TiB स्टोरेज का उपभोग किया। प्रारंभिक डेटा लोडिंग और विभाजन में नौ दिन लगे। परिणामी सिस्टम ने 90% रिकॉल के साथ 694ms का औसत क्वेरी विलंबता प्रदान की, जिसे ब्रूट-फोर्स ग्राउंड-ट्रुथ गणनाओं के मुकाबले मान्य किया गया।
रोडमैप
IBM और NVIDIA प्लेटफ़ॉर्म को अनुकूलित करना जारी रख रहे हैं, जो अनुक्रमण और क्वेरी विलंबता को कम करने पर ध्यान केंद्रित कर रहे हैं। वर्तमान लक्ष्यों में एक दिन के भीतर 100 बिलियन या अधिक वैक्टर को अनुक्रमित करना, डेटा अंतर्ग्रहण समय को नौ दिनों से एक दिन तक कम करना, और 90 प्रतिशत रिकॉल बनाए रखते हुए क्वेरी विलंबता को 50-100 मिलीसेकंड रेंज तक कम करना शामिल है।
मानक फ़ाइल सिस्टम में वेक्टर अनुक्रमण को एकीकृत करने का उद्देश्य परिनियोजन को सरल बनाना और उद्यम AI अपनाने के लिए बाधाओं को कम करना है। RAG क्षमताओं को सीधे स्टोरेज में एम्बेड करके, IBM CAS को AI-सक्षम इंफ्रास्ट्रक्चर के लिए एक मूलभूत परत के रूप में स्थापित कर रहा है।
बीजिंग कियानक्सिंग जिएटोंग टेक्नोलॉजी कं, लिमिटेड
सैंडी यांग/ग्लोबल स्ट्रेटेजी डायरेक्टर
व्हाट्सएप / वीचैट: +86 13426366826
ईमेल: yangyd@qianxingdata.com
वेबसाइट: www.qianxingdata.com/www.storagesserver.com
व्यावसायिक फोकस:
आईसीटी उत्पाद वितरण/सिस्टम एकीकरण और सेवाएं/इंफ्रास्ट्रक्चर समाधान
20+ वर्षों के आईटी वितरण अनुभव के साथ, हम विश्वसनीय उत्पाद और पेशेवर सेवाएं प्रदान करने के लिए अग्रणी वैश्विक ब्रांडों के साथ साझेदारी करते हैं।
“एक बुद्धिमान दुनिया बनाने के लिए प्रौद्योगिकी का उपयोग करना” आपके विश्वसनीय आईसीटी उत्पाद सेवा प्रदाता!
सैंडी यांग/ग्लोबल स्ट्रेटेजी डायरेक्टर
व्हाट्सएप / वीचैट: +86 13426366826
ईमेल: yangyd@qianxingdata.com
वेबसाइट: www.qianxingdata.com/www.storagesserver.com
व्यावसायिक फोकस:
आईसीटी उत्पाद वितरण/सिस्टम एकीकरण और सेवाएं/इंफ्रास्ट्रक्चर समाधान
20+ वर्षों के आईटी वितरण अनुभव के साथ, हम विश्वसनीय उत्पाद और पेशेवर सेवाएं प्रदान करने के लिए अग्रणी वैश्विक ब्रांडों के साथ साझेदारी करते हैं।
“एक बुद्धिमान दुनिया बनाने के लिए प्रौद्योगिकी का उपयोग करना” आपके विश्वसनीय आईसीटी उत्पाद सेवा प्रदाता!