कंपनी की खबर इन्फेर्रा लाइटबिट्स मेमोरी दीवार बस्टर का अनुमान लगाना है

मैंने पूर्ण पाठ को 8% शब्द गणना तक संपीड़ित किया है, सभी मुख्य तथ्यों, बेंचमार्क, उद्धरणों और तकनीकी तर्क को बनाए रखा है, और सभी लिंक हटा दिए हैं:

Lightbits का Inferra सॉफ़्टवेयर KV कैश संचालन को गति देता है, AI अनुमान की मेमोरी वॉल को तोड़ता है और GPU उपयोगिता में भारी सुधार करता है। उच्च-प्रदर्शन ब्लॉक स्टोरेज फर्म ने GPU हाई-बैंडविड्थ मेमोरी (HBM) को वर्चुअलाइज करने के लिए Inferra बनाया। एक KV कैश LLM अनुमान के दौरान पूर्व-परिकलित ध्यान कुंजियों और मानों को संग्रहीत करता है, जिससे अनुक्रम डेटा की अनावश्यक पुनर्गणना से बचा जा सके और जनरेटिव AI प्रदर्शन को बढ़ावा मिल सके।

मानक KV कैशिंग कैश किए गए डेटा को GPU HBM तक सीमित करती है। एक बार HBM संतृप्त हो जाने पर, मौजूदा KV जोड़े को नए डेटा के लिए हटा दिया जाता है, जिससे पुन: उपयोग पर समय लेने वाली पुनर्गणना की आवश्यकता होती है। आधुनिक टियर KV कैशिंग सर्वर DRAM, स्थानीय NVMe SSDs और दूरस्थ नेटवर्क NVMe ड्राइव तक स्टोरेज का विस्तार करती है। जबकि उच्च टियर में एक्सेस विलंबता लंबी होती है, यह विलंब अक्सर व्यापक टोकन वैक्टर की पुनर्गणना से छोटा होता है।

Inferra विस्तारित लंबी-संदर्भ KV कैश फ़ुटप्रिंट से उत्पन्न होने वाली महत्वपूर्ण मेमोरी बाधाओं को संबोधित करता है। यह क्लाउड और एंटरप्राइज़ उपयोगकर्ताओं को महंगे GPU और HBM हार्डवेयर अपग्रेड के बिना तेज़, अधिक स्केलेबल AI अनुमान चलाने में सक्षम बनाता है ताकि कैश क्षमता का विस्तार किया जा सके।

Lightbits Labs के सह-संस्थापक और अध्यक्ष, Avigdor Willenz ने 2026 के $117 बिलियन के AI अनुमान बाज़ार का उल्लेख किया, जो विरासत प्रशिक्षण-केंद्रित विक्रेताओं को पुनर्गठित करने के लिए मजबूर करता है। उन्होंने जोर देकर कहा कि विरासत स्टोरेज और प्रशिक्षण प्रणालियों को KV कैश बाधाओं के लिए रेट्रोफिट नहीं किया जा सकता है, क्योंकि उन्हें पुराने वर्कलोड प्रतिमानों के लिए डिज़ाइन किया गया था। GPU अनुमान दक्षता के लिए विशेष रूप से निर्मित, Inferra ने ग्राहक बीटा कार्यक्रमों में मान्य मूल्य दिखाया है, जो आधुनिक अनुमान दर्द बिंदुओं को हल करने के लिए विक्रेता के NVMe ओवर TCP नवाचार का विस्तार करता है।

KV-कैश-अनुकूलित प्रीफ़ेचिंग एल्गोरिदम द्वारा संचालित, Inferra GPU मांग से पहले आगामी KV कैश डेटा को सक्रिय रूप से लोड करता है। यह तीन मुख्य लाभ प्रदान करता है: सख्त SLA अनुपालन के साथ मौजूदा GPU हार्डवेयर पर 16x तक अधिक समवर्ती अनुमान सत्र (कोई हार्डवेयर अपग्रेड आवश्यक नहीं); 100x तक विलंबता सुधार और 10 मिलियन-टोकन संदर्भ विंडो के लिए समर्थन, पुनर्गणना के बजाय भविष्य कहनेवाला ध्यान स्थिति प्रीफ़ेचिंग के माध्यम से TTFT और TPOT को काटना; और साझा अनुमान क्लस्टर के लिए बुद्धिमान एकीकृत KV कैश प्रबंधन के साथ सुरक्षित टेनेंट अलगाव।

Inferra मल्टी-टियर मेमोरी और स्टोरेज में GPU मेमोरी को वर्चुअलाइज करके अनुमान अर्थशास्त्र को फिर से परिभाषित करता है, खंडित KV कैशिंग को एक स्थायी, बुद्धिमान डेटा परत में बदल देता है। सर्वर के x86 उप-प्रणालियों पर तैनात, यह KV कैश ब्लॉक गतिविधि की निगरानी करता है और एक सब-लीनियर स्पार्स अटेंशन प्रीफ़ेच (SLSAP) इंजन का लाभ उठाता है। लोकैलिटी-सेंसिटिव हैशिंग और ऐतिहासिक ध्यान पुन: उपयोग पैटर्न को मिलाकर, यह अक्सर पुन: उपयोग किए जाने वाले KV ब्लॉक को रैंक और प्राथमिकता देता है, जिसमें हाल के टोकन, अर्थपूर्ण रूप से समान सामग्री और बहु-मोड़ चैट और RAG वर्कफ़्लो में संरचनात्मक पैटर्न शामिल हैं। सिस्टम सर्वर DRAM या बाहरी SSDs से लक्षित ब्लॉक प्राप्त करता है और उन्हें RDMA के माध्यम से GPU HBM में प्रीलोड करता है।

OVH के मुख्य उत्पाद और प्रौद्योगिकी अधिकारी Yaniv Fdida ने Inferra द्वारा महत्वपूर्ण GPU उपयोगिता लाभ प्रदान करने की पुष्टि की, जिससे स्केलेबल, लागत-कुशल AI एजेंट और RAG वर्कलोड इंफ्रास्ट्रक्चर सक्षम हो सके।

सार्वजनिक बेंचमार्क परिणाम भारी प्रदर्शन लिफ्ट की पुष्टि करते हैं: Qwen 2.5-7B (410K संदर्भ) 102x तेज होता है (72.6s → 711ms); DeepSeek-R1-70B (141K संदर्भ) 152x बेहतर होता है (70.8s → 465ms); Llama-4-Scout (10M संदर्भ) 380x की छलांग लगाता है (1.5 घंटे → 13s)।

हार्डवेयर-अज्ञेयवादी और सभी मुख्यधारा ओपन-सोर्स अनुमान फ्रेमवर्क के साथ संगत, Inferra Dynamo, vLLM और LMCache प्लगइन्स का समर्थन करता है। विशेष रूप से, यह संदर्भ लंबाई के सापेक्ष सब-लीनियर TTFT स्केलिंग प्रदान करता है, जबकि DDN, VAST Data और WEKA सहित प्रतिस्पर्धी केवल लीनियर स्केलिंग या रिएक्टिव स्ट्रीमिंग प्रदान करते हैं। Lightbits ने कमोडिटी L40S GPUs पर स्थिर 10M-टोकन संदर्भ अनुमान का प्रदर्शन किया है, जो एक बेंचमार्क है जो प्रतिद्वंद्वी विक्रेताओं द्वारा बेजोड़ है।

Lightbits Labs AI उत्पाद और व्यवसाय SVP Ramesh Chettuvetty ने कहा कि Inferra तत्काल TCO बचत प्रदान करता है, लंबी-संदर्भ अनुमान में रुकावटों को समाप्त करता है और व्यवसायों को कम इंफ्रास्ट्रक्चर लागत पर बड़े मॉडल और लंबे संवाद वर्कलोड चलाने के लिए सशक्त बनाता है। उपयोगकर्ता विक्रेता के सार्वजनिक दक्षता मूल्यांकन मंच के माध्यम से Inferra के अनुमान लागत अनुकूलन लाभों का आकलन कर सकते हैं। ScaleFlux के साथ एक संयुक्त मार्च डेमो में, Inferra ने कम्प्यूटेशनल स्टोरेज SSD वर्कलोड पर 100x से 280x KV कैश त्वरण प्राप्त किया।

बीजिंग कियानक्सिंग जिएटोंग टेक्नोलॉजी कं, लिमिटेड।
सैंडी यांग/ग्लोबल स्ट्रेटेजी डायरेक्टर
WhatsApp / WeChat: +86 13426366826
ईमेल: yangyd@qianxingdata.com
वेबसाइट: www.qianxingdata.com/www.storagesserver.com
व्यावसायिक फोकस:
आईसीटी उत्पाद वितरण/सिस्टम एकीकरण और सेवाएँ/इंफ्रास्ट्रक्चर समाधान
20+ वर्षों के आईटी वितरण अनुभव के साथ, हम विश्वसनीय उत्पाद और पेशेवर सेवाएँ प्रदान करने के लिए अग्रणी वैश्विक ब्रांडों के साथ साझेदारी करते हैं।
“एक बुद्धिमान दुनिया बनाने के लिए प्रौद्योगिकी का उपयोग करना” आपके विश्वसनीय आईसीटी उत्पाद सेवा प्रदाता!