Hindi
पूर्ण विनिर्देश:
| विनिर्देश | विवरण |
|---|---|
| प्रोसेसर | दो 5वीं पीढ़ी के Intel® Xeon® Scalable प्रोसेसर तक (प्रति CPU 64 कोर) दो 4थी पीढ़ी के Intel® Xeon® Scalable प्रोसेसर तक (प्रति CPU 56 कोर) |
| GPU विकल्प | XE9680: – NVIDIA HGX H200 (141GB) SXM5 700W – NVIDIA HGX H100 (80GB) SXM5 700W – AMD Instinct MI300X (192GB) OAM 750W – Intel Gaudi3 (128GB) OAM 900W |
| मेमोरी | 32 DIMM स्लॉट 5600 MT/s (5वीं पीढ़ी) 4800 MT/s (4थी पीढ़ी) |
| भंडारण | फ्रंट ड्राइव बे: 8x 2.5″ NVMe/SAS/SATA (122.88TB अधिकतम) 16x E3.S NVMe (122.88TB अधिकतम) |
| स्टोरेज कंट्रोलर | आंतरिक कंट्रोलर: PERC H965i (Intel Gaudi3 के साथ समर्थित नहीं)आंतरिक बूट: बूट ऑप्टिमाइज़्ड स्टोरेज सबसिस्टम (NVMe BOSS-N1): HWRAID 1, 2 x M.2 SSDs |
| PCIE स्लॉट | PCIe स्लॉट 10x PCIe Gen5 x16 स्लॉट तक (Intel Gaudi3 के साथ 8 स्लॉट) |
| नेटवर्क | 1x OCP 3.0 (वैकल्पिक) 2x 1GbE LOM |
| बिजली आपूर्ति | 3200W टाइटेनियम (277 VAC) 2800W टाइटेनियम (200-240 VAC) |
| आयाम | ऊंचाई: 10.36″ (263.20mm) चौड़ाई: 18.97″ (482.00mm) गहराई: 39.71″ (1008.77mm) बेज़ल के साथ |
| वजन | 251.44 पाउंड (114.05 किग्रा) तक |
| फॉर्म फैक्टर | 6U रैक सर्वर |
| प्रबंधन | एम्बेडेड / सर्वर पर: iDRAC9 iDRAC डायरेक्ट iDRAC RESTful API Redfish के साथiDRAC सर्विस मॉड्यूलकंसोल: PowerEdge प्लगइन के लिए CloudIQ OpenManage Enterprise OpenManage Power Manager प्लगइन OpenManage Service प्लगइन OpenManage Update Manager प्लगइन उपकरण: Dell System Update Dell Repository Manager एंटरप्राइज कैटलॉग iDRAC RESTful API Redfish के साथ IPMI RACADM CLIOpenManageIntegrations: BMC Truesight ServiceNow के साथ OpenManage Integration |
| सुरक्षा | क्रिप्टोग्राफिक रूप से हस्ताक्षरित फर्मवेयर डेटा एट रेस्ट एन्क्रिप्शन (स्थानीय या बाहरी कुंजी प्रबंधन के साथ SEDs) सुरक्षित बूट सुरक्षित घटक सत्यापन (हार्डवेयर अखंडता जांच) सुरक्षित मिटाएं सिलिकॉन रूट ऑफ ट्रस्ट सिस्टम लॉकडाउन (iDRAC9 एंटरप्राइज या डेटासेंटर की आवश्यकता है) |
| कूलिंग | एयर-कूल्ड |
डेल पावरएज XE9680 बिल्ड और डिज़ाइन
PowerEdge XE9680 हार्डवेयर का एक प्रभावशाली टुकड़ा है, जो 10.36 इंच (263.20mm) ऊंचाई, 18.97 इंच (482.00mm) चौड़ाई और 39.71 इंच (1008.77mm) गहराई में अपने बेज़ल के साथ मापता है। पूरी तरह से लोड होने पर, इसका वजन 251.44 पाउंड (114.05 किग्रा) होता है। GPU चयन वजन पर अंतिम निर्णय लेगा, जिसमें NVIDIA H100/H200 मॉडल 238 पाउंड का होगा, जबकि AMD MI300X यूनिट 251 पाउंड का होगा।
यह पहला सर्वर था जिसके लिए हमारे परीक्षण वातावरण में ठीक से लोड करने के लिए सावधानीपूर्वक विचार करने की आवश्यकता थी। जब आप सर्वर वजन और हार्डवेयर को रैक करने के लिए आवश्यक लोगों की संख्या पर विचार करते हैं, तो सीमाओं से बाहर जाने के लिए कुछ गुंजाइश होती है, लेकिन एक निश्चित बिंदु पर, एक या दो लोग इसे अकेले नहीं उठा रहे होते हैं। डेल आपको यह समझने में मदद करने के लिए एक "लिफ्ट टेबल" देने के लिए पर्याप्त दयालु है कि यह प्लेटफॉर्म कैसे फिट बैठता है। उन सभी के लिए जो सोच रहे हैं, केविन ने खुद XE9680 को रैक में लोड किया।
| चेसिस वजन | विवरण |
|---|---|
| 40 पाउंड – 70 पाउंड | उठाने के लिए दो लोगों की सिफारिश की जाती है। |
| 70 पाउंड – 120 पाउंड | उठाने के लिए तीन लोगों की सिफारिश की जाती है। |
| ≥ 121 पाउंड | सर्वर लिफ्ट की आवश्यकता है। |
इसकी जटिलता और विशेष सेवा तकनीशियनों के लिए डेल की सिफारिश के बावजूद, XE9680 में उल्लेखनीय रूप से उपयोगकर्ता के अनुकूल सेवा तत्व हैं। सर्वर के पैनल में विस्तृत सेवा निर्देश और स्पष्ट ग्राफिक्स शामिल हैं, जो अनुभवी आईटी कर्मचारियों के लिए रखरखाव प्रक्रियाओं को आश्चर्यजनक रूप से सुलभ बनाते हैं। इन दृश्य गाइडों ने सिस्टम के साथ हमारे हाथों-हाथ समय के दौरान अमूल्य साबित किया, जिससे हम आत्मविश्वास से विभिन्न घटकों की सेवा कर सके।
PowerEdge XE9680 पर कवर खोलने के बाद, एक बार जब आप ऊपर छोटे बिजली सबस्टेशन से कई पावर केबल पार कर लेते हैं, तो यह PowerEdge R760 जैसा दिखता है। हमारी यूनिट दो Intel Xeon Platinum 8468 प्रोसेसर द्वारा संचालित थी, प्रत्येक में 2.1Ghz पर 48 कोर थे। प्रत्येक प्रोसेसर 80 PCIe लेन प्रदान करता है, जो इस यूनिट में कई PCIe स्विच से होकर गुजरती हैं ताकि GPUs, NICs और XE9680 में लोड किए गए अन्य हार्डवेयर का समर्थन किया जा सके।
सबसे प्रभावशाली इंजीनियरिंग सुविधाओं में से एक PCIe स्विच बोर्ड (PSB) डिज़ाइन है। ये बोर्ड 10 अतिरिक्त फुल-हाइट, हाफ-लेंथ PCIe कार्ड (जिनमें से दो 75W से अधिक बिजली की खपत कर सकते हैं) तक कनेक्टिविटी प्रदान करते हैं और सीधे GPU बेस बोर्ड के साथ एकीकृत होते हैं। यह प्रत्यक्ष एकीकरण GPU-डायरेक्ट तकनीक को सक्षम करता है, जिससे SSD और नेटवर्क कार्ड CPU को बायपास करके सीधे GPU के साथ संवाद कर सकते हैं और I/O-गहन AI कार्यभार के लिए विलंबता को कम कर सकते हैं।
प्रत्येक विस्तार स्लॉट एक पूर्ण PCIe Gen5 x16 इंटरफ़ेस का समर्थन करता है, जिसमें लेआउट के बाईं और दाईं ओर के दो निचले स्लॉट शामिल हैं। जबकि ऊपरी आठ स्लॉट अपने स्वयं के PSB के माध्यम से जुड़े हुए हैं, दो निचले स्लॉट सीधे PCIe बेस बोर्ड (PBB) से जुड़ते हैं। ये दो स्लॉट उच्च-शक्ति वाले कार्ड का भी समर्थन करते हैं। इसके अतिरिक्त, यह ध्यान दिया जाना चाहिए कि PowerEdge XE9680 के लिए चुने गए GPU प्रकार के आधार पर PCIe लेआउट थोड़ा भिन्न होता है। AMD-सुसज्जित मॉडल SmartNIC/DPUs का समर्थन नहीं करते हैं, और Intel Gaudi3 मॉडल एयरफ्लो मुद्दों के कारण दो स्लॉट अवरुद्ध हैं।
कूलिंग एक और क्षेत्र है जहां डेल की इंजीनियरिंग विशेषज्ञता चमकती है। सिस्टम 16 उच्च-प्रदर्शन वाले गोल्ड-ग्रेड पंखे तक नियोजित करता है - मिड-ट्रे में छह और पीछे दस। PowerEdge XE9680 विभिन्न स्थापना परिदृश्यों का समर्थन करता है, जिसमें 10 से 35C (Intel Gaudi3 GPUs के साथ 30C) तक का परिवेश तापमान होता है। पूर्ण झुकाव पर, सर्वर गर्म गलियारे में प्रभावशाली 1,200CFM ले जाता है।
यह मजबूत कूलिंग समाधान AMD MI300X, Intel Gaudi3, या NVIDIA H100 GPUs सहित सबसे अधिक मांग वाले थर्मल लोड को भी संभालता है, जबकि इष्टतम ऑपरेटिंग तापमान बनाए रखता है। PowerEdge XE9680 लोड के तहत शोर आउटपुट के मामले में काफी गाता है। डेल विभिन्न स्थितियों में XE9680 के लिए एक पूर्ण ध्वनिक विनिर्देश पत्र प्रदान करता है, लेकिन यह कहना काफी आसान है कि यह लोड के तहत एक ज़ोरदार मंच होगा।
प्रबंधन
XE9680 की प्रबंधन क्षमताएं डेल के एंटरप्राइज-प्रूवन iDRAC9 के आसपास निर्मित हैं, जो व्यापक सर्वर जीवनचक्र प्रबंधन और निगरानी प्रदान करता है। iDRAC का यह पुनरावृति कई AI-अनुकूलित सुविधाएँ लाता है, जिसमें विस्तृत GPU टेलीमेट्री, बिजली की खपत विश्लेषण और उच्च-घनत्व AI कार्यभार के लिए डिज़ाइन की गई व्यापक थर्मल निगरानी शामिल है।
AI इंफ्रास्ट्रक्चर परिनियोजन के लिए प्लेटफ़ॉर्म का प्रबंधन स्टैक विशेष रूप से उल्लेखनीय है। Redfish समर्थन के साथ iDRAC9 के RESTful API के माध्यम से, संगठन प्रोग्रामेटिक रूप से GPU उपयोग, मेमोरी बैंडविड्थ और थर्मल स्थितियों की निगरानी और प्रबंधन कर सकते हैं - इष्टतम AI प्रशिक्षण और अनुमान प्रदर्शन को बनाए रखने के लिए महत्वपूर्ण मेट्रिक्स। OpenManage Enterprise के साथ सिस्टम का एकीकरण एक एकीकृत कंसोल के माध्यम से कई XE9680s के बेड़े-व्यापी प्रबंधन को सक्षम बनाता है, जो बड़े पैमाने पर AI क्लस्टर के लिए आवश्यक है।
सुरक्षा और अनुपालन प्रबंधन वास्तुकला के मूलभूत तत्व हैं। प्लेटफ़ॉर्म सिलिकॉन रूट ऑफ ट्रस्ट और सिक्योर कंपोनेंट वेरिफिकेशन लागू करता है, जो बूट-अप से लेकर ऑपरेशन तक हार्डवेयर अखंडता सुनिश्चित करता है। ये सुविधाएँ विशेष रूप से संवेदनशील AI कार्यभार चलाते समय या मालिकाना मॉडल भार को संभालते समय मूल्यवान होती हैं।
CloudIQ एकीकरण द्वारा संचालित भविष्य कहनेवाला विफलता विश्लेषण क्षमता, संभावित हार्डवेयर मुद्दों का पूर्वानुमान लगाने के लिए मशीन लर्निंग का उपयोग करती है, इससे पहले कि वे कार्यभार को प्रभावित करें। यह सक्रिय दृष्टिकोण विशेष रूप से लंबे समय तक चलने वाली AI प्रशिक्षण नौकरियों के लिए महत्वपूर्ण है, जहां अप्रत्याशित डाउनटाइम के परिणामस्वरूप दिनों की गणना का नुकसान हो सकता है। जब डेल की ProSupport Plus सेवा के साथ जोड़ा जाता है, तो यह भविष्य कहनेवाला क्षमता स्वचालित केस निर्माण और भागों प्रेषण को ट्रिगर करती है, अक्सर सिस्टम गिरावट होने से पहले निवारक रखरखाव के परिणामस्वरूप।
उन संगठनों के लिए जिन्हें मौजूदा प्रबंधन उपकरणों के साथ एकीकरण की आवश्यकता होती है, XE9680 OpenManage एकीकरण के माध्यम से विभिन्न प्रबंधन फ्रेमवर्क का समर्थन करता है, जिसमें ServiceNow और BMC TrueSight शामिल हैं, जिससे स्थापित IT सेवा प्रबंधन वर्कफ़्लो में निर्बाध समावेश की अनुमति मिलती है।
iDRAC9 इंटरफ़ेस एक सहज डैशबोर्ड के माध्यम से महत्वपूर्ण घटकों की विस्तृत रीयल-टाइम निगरानी प्रदान करता है। GPU निगरानी व्यापक मेट्रिक्स प्रदर्शित करती है, जिसमें सभी आठ त्वरक में तापमान, बिजली की खपत और उपयोग दर शामिल हैं, जो AI कार्यभार वितरण को अनुकूलित करने के लिए आवश्यक है।
स्टोरेज निगरानी इंटरफ़ेस NVMe सरणी में ड्राइव स्वास्थ्य, तापमान और प्रदर्शन मेट्रिक्स में तत्काल दृश्यता प्रदान करता है, जो उच्च-थ्रूपुट अनुमान कैश और प्रशिक्षण डेटासेट का प्रबंधन करते समय विशेष रूप से मूल्यवान है।
मेमोरी, स्टोरेज और स्केल
डेल पावरएज XE9680 के अंदर आठ AMD MI300X GPU, GPU मेमोरी क्षमता में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करते हैं, जो NVIDIA H200 के 141GB की तुलना में प्रति कार्ड 192GB HBM3 मेमोरी प्रदान करते हैं। मेमोरी क्षमता में यह 36% वृद्धि सिर्फ एक स्पेक शीट पर एक संख्या नहीं है - यह बड़े भाषा मॉडल परिनियोजन के लिए महत्वपूर्ण है।
यह मेमोरी का विशाल पूल, MI300X के 5.3 TB/s मेमोरी बैंडविड्थ के साथ मिलकर, संगठनों को छोटे मॉडल के कई उदाहरण चलाने या उच्च थ्रूपुट और कम विलंबता बनाए रखते हुए GPU पर बड़े मॉडल को विभाजित करने में सक्षम बनाता है।
इसे परिप्रेक्ष्य में रखने के लिए, मेटा का लामा 3.1 405B मॉडल, जिसे BF16 में 1TB VRAM से अधिक की आवश्यकता होती है, को बिना क्वांटिज़ेशन और पूर्ण 128k संदर्भ लंबाई के MI300X GPU के साथ एकल XE9680 पर आराम से वितरित किया जा सकता है। यह क्वांटिज़ेशन तकनीकों से जुड़े संभावित गुणवत्ता हानि को समाप्त करता है और मॉडल को दो सर्वरों पर वितरित करने की तुलना में अधिक टोकन/सेकंड की अनुमति देता है।
हमारे स्टोरेज फुटप्रिंट को अधिकतम करने के लिए, हमने सॉलिडगैम 61.44TB ड्राइव का उपयोग मेमोरी के एक परिष्कृत विस्तार के रूप में किया, जो हाई-स्पीड GPU मेमोरी और पारंपरिक स्टोरेज के बीच की खाई को पाटता है। SSD अनुमान के दौरान की-वैल्यू कैश जोड़े को स्टोर करने में उत्कृष्ट हैं, जो लंबी-संदर्भ पीढ़ियों के लिए GPU की मेमोरी क्षमता को प्रभावी ढंग से बढ़ाते हैं। उनकी विशाल क्षमता और NVMe प्रदर्शन उन्हें त्वरित मॉडल भार पहुंच के लिए आदर्श बनाते हैं, जिससे कुशल मॉडल स्विचिंग और वार्म स्टार्ट सक्षम होते हैं।
मेट्रम AI परिनियोजन जैसे अनुप्रयोगों में जो हम नीचे विस्तार से बताते हैं, SSD वेक्टर डेटाबेस के लिए स्टोरेज बैकएंड के रूप में दोहरा कर्तव्य निभाते हैं, वास्तविक समय समानता खोजों के लिए आवश्यक प्रदर्शन प्रदान करते हुए व्यापक एम्बेडिंग स्टोरेज के लिए क्षमता बनाए रखते हैं।
इन उच्च-क्षमता वाले ड्राइव का मूल्य अनुमान से प्रशिक्षण कार्यप्रवाह तक फैला हुआ है। वे प्रशिक्षण बैचों को कतारबद्ध करने के लिए आदर्श स्थानीय भंडारण प्रदान करते हैं, डेटा को कंप्यूट संसाधनों के करीब रखकर नेटवर्क ओवरहेड को कम करते हैं। प्रशिक्षण के दौरान, ये ड्राइव मॉडल चेकपॉइंट को स्थानीय रूप से संग्रहीत करने में उत्कृष्ट हैं, जो प्रशिक्षण प्रगति को बनाए रखने और त्वरित पुनर्प्राप्ति को सक्षम करने के लिए महत्वपूर्ण है। यह स्थानीय भंडारण रणनीति प्रत्येक संसाधित परत और बैच के बाद तत्काल नेटवर्क यातायात को कम करके नेटवर्क उपयोग को अनुकूलित करने में भी मदद करती है।
जबकि XE9680 में आठ बे में 61.44TB क्षमता का वादा लगता है, इससे कहीं अधिक क्षमता आ रही है। सॉलिडगैम के नव-घोषित 122.88TB ड्राइव के साथ, XE में स्टोरेज घनत्व को और प्रशिक्षण अनुकूलन और लंबे समय तक चलने वाले अनुमान कैश के लिए लगभग एक पेटाबाइट तक दोगुना किया जा सकता है।
मेट्रम AI हेल्थकेयर असिस्टेंट – रोगी देखभाल में क्रांति लाना
स्वास्थ्य सेवा क्षेत्र लगातार समय लेने वाले रोगी दस्तावेज़ीकरण और रिकॉर्ड प्रबंधन के प्रबंधन में एक चुनौती का सामना करता है, जो अक्सर प्रत्यक्ष रोगी देखभाल से विचलित होता है। मेट्रम AI का हेल्थकेयर असिस्टेंट, डेल पावरएज XE9680 सर्वर पर AMD त्वरक के साथ तैनात, यह दर्शाता है कि उन्नत AI इंफ्रास्ट्रक्चर स्वास्थ्य सेवा कार्यप्रवाह को कैसे बदल सकता है, दक्षता बढ़ा सकता है और रोगी के परिणामों में सुधार कर सकता है।
सिस्टम लामा 3.1 70B इंस्ट्रक्ट को अपने प्राथमिक भाषा मॉडल के रूप में उपयोग करता है, जो चिकित्सा संदर्भों की अपनी समझ के लिए प्रसिद्ध है। यह इसे जटिल रोगी डेटा को आसानी से संसाधित करने की अनुमति देता है। इस भाषा मॉडल को gte-v1.5 एम्बेडिंग मॉडल और मिल्वस वेक्टर डीबी के साथ जोड़ा गया है, जो प्राकृतिक भाषा प्रसंस्करण और प्रासंगिक समझ के लिए एक मजबूत नींव प्रदान करता है जो चिकित्सा डेटा को संभालने के लिए आवश्यक है।
मेट्रम AI के हेल्थकेयर असिस्टेंट में हिस्टोपैथोलॉजी छवि विश्लेषण के लिए HistoGPT और चिकित्सक नोट्स के वास्तविक समय प्रतिलेखन के लिए OpenAI के व्हिस्पर को शामिल करने वाला एक मल्टीमॉडल दृष्टिकोण भी शामिल है। एक साथ, ये मॉडल नैदानिक कार्यप्रवाह को सुव्यवस्थित करते हैं, डॉक्टरों को स्वाभाविक रूप से बोलने की अनुमति देते हैं जबकि सिस्टम वास्तविक समय में रोगी रिकॉर्ड में जानकारी को ट्रांसक्रिप्ट, वर्गीकृत और एकीकृत करता है।
मेट्रम AI पहचानता है कि भले ही व्यक्तिगत रोगी डेटा अपेक्षाकृत छोटा हो सकता है, उच्च-यातायात अस्पतालों की संयुक्त भंडारण मांग सैकड़ों टेराबाइट्स तक बढ़ सकती है। डेल पावरएज XE9680 अपने स्थानीय ऑनबोर्ड NVMe स्टोरेज के साथ इसे संबोधित कर सकता है। हमारे कॉन्फ़िगरेशन में PCIe Gen4 गति पर चलने वाले आठ 2.5″ U.2 NVMe स्टोरेज बे की पेशकश की गई है। जबकि हमने 61.44TB सॉलिडगिम D5-P5336 QLC SSDs के साथ XE9680 का परीक्षण किया, यह क्षमता और भी बढ़ सकती है। सॉलिडगिम ने हाल ही में अपने नए D5-P5336 122.88TB QLC मॉडल लॉन्च किए हैं, जो उनके पहले से ही विशाल SSDs की क्षमता को दोगुना करते हैं जबकि समान प्रदर्शन बनाए रखते हैं।
मेट्रम ने अनुमान प्रदान किया कि विभिन्न परिदृश्यों में समय के साथ रोगी डेटा कैसे अनुवादित होता है। जब आप इसे कुल भंडारण क्षमता में काम करते हैं, तो आप देख सकते हैं कि एक इकाई उच्चतम क्षमता वाले SSDs का उपयोग करके कितने अतिरिक्त रोगियों का समर्थन कर सकती है। प्रति रोगी अनुमानित डेटा फुटप्रिंट लेना और प्रत्येक SSD (61TB SSD के लिए 57TB और 122TB SSD के लिए 114TB) के लिए प्रयोग करने योग्य क्षमता के खिलाफ जाना, हम देख सकते हैं कि सघन SSDs होने से सर्वर पर जो आप संग्रहीत कर सकते हैं वह प्रति वर्ष सार्थक तरीके से बहुत बढ़ जाता है।
| प्रति रोगी कुल वार्षिक अनुमान | नोट्स | अनुमानित भंडारण | 61TB SSD प्रति रोगी | 122TB SSD प्रति रोगी |
|---|---|---|---|---|
| उन्नत भंडारण आवश्यकताएं (DICOM छवियां/variants, augmentations, सं
सम्पर्क करने का विवरण
Beijing Qianxing Jietong Technology Co., Ltd.
व्यक्ति से संपर्क करें: Ms. Sandy Yang दूरभाष: 13426366826 |