L4 कम परिशुद्धता वाले कार्यों में उत्कृष्टता प्राप्त करता है, अपने FP8 और INT8 टेंसर कोर के साथ 242.5 टेराफ्लॉप्स का दावा करता है, जो तंत्रिका नेटवर्क अनुमान प्रदर्शन को महत्वपूर्ण रूप से बढ़ावा देता है। 24GB GDDR6 मेमोरी और 300GB/s बैंडविड्थ से लैस, यह बड़े डेटासेट और जटिल मॉडल को आसानी से संभाल सकता है। हालाँकि, L4 के बारे में सबसे खास बात इसकी ऊर्जा दक्षता है: 72W TDP के साथ, यह विभिन्न प्रकार के कंप्यूटिंग वातावरणों के लिए उपयुक्त है। उच्च प्रदर्शन, मेमोरी दक्षता और कम बिजली की खपत का यह संयोजन NVIDIA L4 को एज कंप्यूटिंग चुनौतियों का समाधान करने के लिए एक आकर्षक विकल्प बनाता है।

 

 

एनवीडिया एल4 विशिष्टताएँ
एफपी 32	30.3 टेराफ्लॉप्स
TF32 टेंसर कोर	60 टेराफ्लॉप्स
FP16 टेंसर कोर	121 टेराफ्लॉप्स
BFLOAT16 टेंसर कोर	121 टेराफ्लॉप्स
FP8 टेंसर कोर	242.5 टेराफ्लॉप्स
INT8 टेंसर कोर	242.5 टॉप्स
जीपीयू मेमोरी	24जीबी जीडीडीआर6
जीपीयू मेमोरी बैंडविड्थ	300GB/s
मैक्स थर्मल डिज़ाइन पावर (टीडीपी)	72W
बनाने का कारक	1-स्लॉट लो-प्रोफ़ाइल PCIe
संबंध रखना	PCIe Gen4 x16
विशेष चार्ट	एल4

 

 

बेशक, L4 की कीमत लगभग $2500 के साथ, A2 लगभग आधी कीमत पर आ रहा है, और पुराना (अभी भी काफी सक्षम) T4 $1000 से कम में उपलब्ध है, स्पष्ट प्रश्न यह है कि इन तीन अनुमानित जीपीयू के बीच क्या अंतर है।

NVIDIA L4, A2 और T4 विशिष्टताएँ	एनवीडिया एल4	एनवीडिया ए2	एनवीडिया टी4
एफपी 32	30.3 टेराफ्लॉप्स	4.5 टेराफ्लॉप्स	8.1 टेराफ्लॉप्स
TF32 टेंसर कोर	60 टेराफ्लॉप्स	9 टेराफ्लॉप्स	एन/ए
FP16 टेंसर कोर	121 टेराफ्लॉप्स	18 टेराफ्लॉप्स	एन/ए
BFLOAT16 टेंसर कोर	121 टेराफ्लॉप्स	18 टेराफ्लॉप्स	एन/ए
FP8 टेंसर कोर	242.5 टेराफ्लॉप्स	एन/ए	एन/ए
INT8 टेंसर कोर	242.5 टॉप्स	36 टॉप्स	130 टॉप्स
जीपीयू मेमोरी	24जीबी जीडीडीआर6	16 जीबी जीडीडीआर6	16 जीबी जीडीडीआर6
जीपीयू मेमोरी बैंडविड्थ	300GB/s	200GB/s	320+ जीबी/एस
मैक्स थर्मल डिज़ाइन पावर (टीडीपी)	72W	40-60W	70W
बनाने का कारक	1-स्लॉट लो-प्रोफ़ाइल PCIe
संबंध रखना	PCIe Gen4 x16	PCIe Gen4 x8	PCIe Gen3 x16
विशेष चार्ट	एल4	ए2	टी -4

 

 

इन तीन कार्डों को देखते समय समझने वाली एक बात यह है कि वे वास्तव में पीढ़ीगत एक-से-एक प्रतिस्थापन नहीं हैं, जो बताता है कि टी 4 अभी भी कई वर्षों के बाद भी कुछ उपयोग के मामलों के लिए एक लोकप्रिय विकल्प क्यों बना हुआ है। A2 कम-शक्ति और अधिक संगत (x8 बनाम x16 मैकेनिकल) विकल्प के रूप में T4 के प्रतिस्थापन के रूप में सामने आया। तकनीकी रूप से, L4 तब T4 का प्रतिस्थापन है, A2 बीच में फैला हुआ है जो भविष्य में किसी बिंदु पर ताज़ा हो भी सकता है और नहीं भी।

एमएलपर्फ अनुमान 3.1 प्रदर्शन

MLPerf निष्पक्ष और प्रासंगिक AI हार्डवेयर और सॉफ्टवेयर बेंचमार्क प्रदान करने के लिए स्थापित शिक्षा, अनुसंधान और उद्योग के AI नेताओं का एक संघ है। ये बेंचमार्क विभिन्न कार्यों और परिदृश्यों पर मशीन लर्निंग हार्डवेयर, सॉफ्टवेयर और सेवाओं के प्रदर्शन को मापने के लिए डिज़ाइन किए गए हैं।

हमारे परीक्षण दो विशिष्ट MLPerf बेंचमार्क पर केंद्रित हैं: Resnet50 और BERT।

• Resnet50: यह एक दृढ़ तंत्रिका नेटवर्क है जिसका उपयोग मुख्य रूप से छवि वर्गीकरण के लिए किया जाता है। यह इस बात का एक अच्छा संकेतक है कि कोई सिस्टम इमेज प्रोसेसिंग से संबंधित गहन-शिक्षण कार्यों को कितनी अच्छी तरह संभाल सकता है।
• BERT (ट्रांसफॉर्मर्स से द्विदिश एनकोडर प्रतिनिधित्व): यह बेंचमार्क प्राकृतिक भाषा प्रसंस्करण कार्यों पर ध्यान केंद्रित करता है, यह अंतर्दृष्टि प्रदान करता है कि एक प्रणाली मानव भाषा को समझने और संसाधित करने में कैसा प्रदर्शन करती है।

छवि और भाषा प्रसंस्करण से जुड़े वास्तविक दुनिया के परिदृश्यों में एआई हार्डवेयर की क्षमताओं का मूल्यांकन करने के लिए ये दोनों परीक्षण महत्वपूर्ण हैं।

विशिष्ट AI कार्यों में L4 GPU की क्षमताओं को समझने में मदद करने के लिए इन बेंचमार्क के साथ NVIDIA L4 का मूल्यांकन करना महत्वपूर्ण है। यह इस बात की भी जानकारी देता है कि विभिन्न कॉन्फ़िगरेशन (सिंगल, डुअल और क्वाड सेटअप) प्रदर्शन को कैसे प्रभावित करते हैं। यह जानकारी उन पेशेवरों और संगठनों के लिए महत्वपूर्ण है जो अपने एआई बुनियादी ढांचे को अनुकूलित करना चाहते हैं।

मॉडल दो प्रमुख मोड के अंतर्गत चलते हैं: सर्वर और ऑफ़लाइन।

• ऑफ़लाइन मोड: यह मोड सिस्टम के प्रदर्शन को मापता है जब सभी डेटा एक साथ प्रसंस्करण के लिए उपलब्ध होता है। यह बैच प्रोसेसिंग के समान है, जहां सिस्टम एक ही बैच में बड़े डेटासेट को प्रोसेस करता है। ऑफ़लाइन मोड उन परिदृश्यों के लिए महत्वपूर्ण है जहां विलंबता प्राथमिक चिंता नहीं है, लेकिन थ्रूपुट और दक्षता है।
• सर्वर मोड: इसके विपरीत, सर्वर मोड वास्तविक दुनिया के सर्वर वातावरण की नकल करते हुए एक परिदृश्य में सिस्टम के प्रदर्शन का मूल्यांकन करता है, जहां एक समय में एक ही अनुरोध आते हैं। यह मोड विलंबता-संवेदनशील है, यह मापता है कि सिस्टम प्रत्येक अनुरोध पर कितनी जल्दी प्रतिक्रिया दे सकता है। यह वास्तविक समय के अनुप्रयोगों, जैसे वेब सर्वर या इंटरैक्टिव अनुप्रयोगों के लिए आवश्यक है, जहां तत्काल प्रतिक्रिया आवश्यक है।

1 एक्स NVIDIA L4 - डेल पॉवरएज XR7620

 

एकल NVIDIA L4 से सुसज्जित Dell PowerEdge

हमारे परीक्षण सिस्टम कॉन्फ़िगरेशन में निम्नलिखित घटक शामिल हैं:

• 2 एक्स ज़ीऑन गोल्ड 6426Y - 16-कोर 2.5GHz
• 1 एक्स एनवीडिया एल4
• 8 x 16GB DDR5
• 480GB बॉस RAID1
• उबंटू सर्वर 22.04
• एनवीडिया ड्राइवर 535

डेल पॉवरएज XR7620 1x NVIDIA L4	अंक
Resnet50 - सर्वर	12,204.40
रेसनेट50 - ऑफ़लाइन	13,010.20
बर्ट K99 - सर्वर	898.945
BERT K99 - ऑफ़लाइन	973.435

 

 

Resnet50 और BERT K99 के लिए सर्वर और ऑफ़लाइन परिदृश्यों में प्रदर्शन लगभग समान है, जो दर्शाता है कि L4 विभिन्न सर्वर मॉडलों में लगातार प्रदर्शन बनाए रखता है।

1, 2 और 4 एनवीडिया एल4 - डेल पॉवरएज टी560

हमारी समीक्षा इकाई कॉन्फ़िगरेशन में निम्नलिखित घटक शामिल हैं:

• 2 एक्स इंटेल ज़ीऑन गोल्ड 6448Y (32-कोर/64-थ्रेड प्रत्येक, 225-वाट टीडीपी, 2.1-4.1GHz)
• 8 x 1.6 टीबी सॉलिडिग्म पी5520 एसएसडी w/ पीईआरसी 12 RAID कार्ड
• 1-4x NVIDIA L4 जीपीयू
• 8 x 64 जीबी आरडीआईएमएम
• उबंटू सर्वर 22.04
• एनवीडिया ड्राइवर 535

डेल पॉवरएज T560 1x NVIDIA L4	अंक
Resnet50 - सर्वर	12,204.40
रेसनेट50 - ऑफ़लाइन	12,872.10
बर्ट K99 - सर्वर	898.945
बर्ट K99 - ऑफ़लाइन	945.146

 

 

Dell T560 में दो L4s के साथ हमारे परीक्षणों में, हमने Resnet50 और BERT K99 बेंचमार्क दोनों के प्रदर्शन में इस निकट-रेखीय स्केलिंग को देखा। यह स्केलिंग L4 GPU की दक्षता और ओवरहेड या अक्षमता के कारण महत्वपूर्ण नुकसान के बिना मिलकर काम करने की उनकी क्षमता का एक प्रमाण है।

डेल पॉवरएज T560 2x NVIDIA L4	अंक
Resnet50 - सर्वर	24,407.50
रेसनेट50 - ऑफ़लाइन	25,463.20
बर्ट K99 - सर्वर	1,801.28
BERT K99 - ऑफ़लाइन	1,904.10

 

 

दो NVIDIA L4 GPU के साथ हमने जो सुसंगत रैखिक स्केलिंग देखी, वह चार L4 इकाइयों वाले कॉन्फ़िगरेशन तक प्रभावशाली ढंग से विस्तारित होती है। यह स्केलिंग विशेष रूप से उल्लेखनीय है क्योंकि समानांतर प्रसंस्करण और संसाधन प्रबंधन की जटिलताओं के कारण प्रत्येक जोड़े गए जीपीयू के साथ रैखिक प्रदर्शन लाभ को बनाए रखना तेजी से चुनौतीपूर्ण हो जाता है।

डेल पॉवरएज T560 4x NVIDIA L4	अंक
Resnet50 - सर्वर	48,818.30
रेसनेट50 - ऑफ़लाइन	51,381.70
बर्ट K99 - सर्वर	3,604.96
BERT K99 - ऑफ़लाइन	3,821.46

 

 

ये परिणाम केवल उदाहरणात्मक उद्देश्यों के लिए हैं, प्रतिस्पर्धी या आधिकारिक MLPerf परिणाम नहीं। संपूर्ण आधिकारिक परिणाम सूची के लिए कृपया MLPerf परिणाम पृष्ठ पर जाएँ।

NVIDIA L4 GPU की रैखिक मापनीयता को मान्य करने के अलावा, प्रयोगशाला में हमारे परीक्षण विभिन्न परिचालन परिदृश्यों में इन इकाइयों को तैनात करने के व्यावहारिक निहितार्थों पर प्रकाश डालते हैं। उदाहरण के लिए, L4 GPU के साथ सभी कॉन्फ़िगरेशन में सर्वर और ऑफ़लाइन मोड के बीच प्रदर्शन में स्थिरता से उनकी विश्वसनीयता और बहुमुखी प्रतिभा का पता चलता है।

यह पहलू व्यवसायों और अनुसंधान संस्थानों के लिए विशेष रूप से प्रासंगिक है जहां परिचालन संदर्भ काफी भिन्न होते हैं। इसके अलावा, इंटरकनेक्ट बाधाओं के न्यूनतम प्रभाव और मल्टी-जीपीयू सेटअप में जीपीयू सिंक्रनाइज़ेशन की दक्षता पर हमारी टिप्पणियां उन लोगों के लिए मूल्यवान अंतर्दृष्टि प्रदान करती हैं जो अपने एआई बुनियादी ढांचे को बढ़ाना चाहते हैं। ये अंतर्दृष्टि केवल बेंचमार्क संख्याओं से परे जाती हैं, इस बात की गहरी समझ प्रदान करती हैं कि वास्तविक दुनिया के परिदृश्यों में ऐसे हार्डवेयर का बेहतर उपयोग कैसे किया जा सकता है, एआई और एचपीसी बुनियादी ढांचे में बेहतर वास्तुशिल्प निर्णय और निवेश रणनीतियों का मार्गदर्शन किया जा सकता है।

NVIDIA L4 - अनुप्रयोग प्रदर्शन

हमने नए NVIDIA L4 के प्रदर्शन की तुलना इसके पहले आए NVIDIA A2 और NVIDIA T4 से की। पिछले मॉडलों की तुलना में इस प्रदर्शन उन्नयन को प्रदर्शित करने के लिए, हमने अपने प्रयोगशाला में एक सर्वर के अंदर सभी तीन मॉडलों को विंडोज सर्वर 2022 और नवीनतम NVIDIA ड्राइवरों के साथ तैनात किया, जो हमारे संपूर्ण GPU परीक्षण सूट का लाभ उठाते हैं।

इन कार्डों का परीक्षण निम्नलिखित कॉन्फ़िगरेशन के साथ Dell Poweredge R760 पर किया गया था:

• 2 एक्स इंटेल ज़ीऑन गोल्ड 6430 (32 कोर, 2.1GHz)
• विंडोज़ सर्वर 2022
• एनवीडिया ड्राइवर 538.15
• 1x सैंपलिंग के लिए सभी कार्डों पर ईसीसी अक्षम है

जैसे ही हम तीन एंटरप्राइज़ जीपीयू के इस समूह के बीच प्रदर्शन परीक्षण शुरू करते हैं, पहले के ए2 और टी4 मॉडल के बीच अद्वितीय प्रदर्शन अंतर पर ध्यान देना महत्वपूर्ण है। जब A2 जारी किया गया था, तो इसने कुछ उल्लेखनीय सुधार पेश किए जैसे कि कम बिजली की खपत और पुराने T4 के लिए आवश्यक बड़े PCIe Gen3 x16 स्लॉट के बजाय छोटे PCIe Gen4 x8 स्लॉट पर काम करना। शुरुआत से ही इसने इसे अधिक प्रणालियों में फिट होने की अनुमति दी, विशेष रूप से आवश्यक छोटे पदचिह्न के साथ।

ब्लेंडर ऑप्टिक्स 4.0

ब्लेंडर ऑप्टिक्स एक ओपन-सोर्स 3डी मॉडलिंग एप्लिकेशन है। यह परीक्षण सीपीयू और जीपीयू दोनों के लिए चलाया जा सकता है, लेकिन हमने यहां अधिकांश अन्य परीक्षणों की तरह केवल जीपीयू ही चलाया है। यह बेंचमार्क ब्लेंडर बेंचमार्क सीएलआई उपयोगिता का उपयोग करके चलाया गया था। स्कोर प्रति मिनट नमूने है, उच्चतर बेहतर है।

ब्लेंडर 4.0 (उच्चतर बेहतर है)	एनवीडिया एल4	एनवीडिया ए2	एनवीडिया टी4
जीपीयू ब्लेंडर सीएलआई - मॉन्स्टर	2,207.765	458.692	850.076
जीपीयू ब्लेंडर सीएलआई - जंकशॉप	1,127.829	292.553	517.243
जीपीयू ब्लेंडर सीएलआई - कक्षा	1,111.753	262.387	478.786

 

 

ब्लैकमैजिक रॉ स्पीड टेस्ट

हम ब्लैकमैजिक के रॉ स्पीड टेस्ट के साथ सीपीयू और जीपीयू का परीक्षण करते हैं जो वीडियो प्लेबैक गति का परीक्षण करता है। यह एक हाइब्रिड परीक्षण है जिसमें वास्तविक दुनिया के रॉ डिकोडिंग के लिए सीपीयू और जीपीयू प्रदर्शन शामिल है। इन्हें अलग-अलग परिणामों के रूप में प्रदर्शित किया जाता है लेकिन हम यहां केवल जीपीयू पर ध्यान केंद्रित कर रहे हैं, इसलिए सीपीयू परिणाम छोड़े गए हैं।

ब्लैकमैजिक रॉ स्पीड टेस्ट (उच्चतर बेहतर है)	एनवीडिया एल4	एनवीडिया ए2	एनवीडिया टी4
8K CUDA	95 एफपीएस	38 एफपीएस	53 एफपीएस

सिनेबेंच 2024 जीपीयू

मैक्सन का सिनेबेंच 2024 एक सीपीयू और जीपीयू रेंडरिंग बेंचमार्क है जो सभी सीपीयू कोर और थ्रेड का उपयोग करता है। फिर से चूँकि हम GPU परिणामों पर ध्यान केंद्रित कर रहे हैं, इसलिए हमने परीक्षण के CPU भाग नहीं चलाए। उच्च अंक बेहतर होते हैं.

सिनेबेंच 2024 (उच्चतर बेहतर है)	एनवीडिया एल4	एनवीडिया ए2	एनवीडिया टी4
जीपीयू	15,263	4,006	5,644

जीपीयू पीआई

GPUPI 3.3.3 हल्के बेंचमार्किंग उपयोगिता का एक संस्करण है जिसे GPU और CPU के माध्यम से हार्डवेयर त्वरण का उपयोग करके अरबों दशमलव तक π (pi) की गणना करने के लिए डिज़ाइन किया गया है। यह ओपनसीएल और सीयूडीए की कंप्यूटिंग शक्ति का लाभ उठाता है जिसमें केंद्रीय और ग्राफिक प्रसंस्करण इकाइयां दोनों शामिल हैं। हमने CUDA को केवल सभी 3 GPU पर चलाया और यहां संख्याएं बिना कटौती समय जोड़े गणना समय हैं। कम बेहतर है।

जीपीयू पीआई गणना समय सेकंड में (कम बेहतर है)	एनवीडिया एल4	एनवीडिया ए2	एनवीडिया टी4
जीपीयूपीआई v3.3 - 1बी	3.732s	19.799 सेकंड	7.504s
जीपीयूपीआई v3.3 - 32बी	244.380 सेकंड	1,210.801s	486.231एस

जबकि पिछले परिणामों में प्रत्येक कार्ड के केवल एक ही पुनरावृत्ति को देखा गया था, हमें Dell PowerEdge T560 के अंदर 5x NVIDIA L4 परिनियोजन को देखने का भी मौका मिला था।

जीपीयू पीआई गणना समय सेकंड में (कम बेहतर है)	Dell PowerEdge T560 (2x Xeon गोल्ड 6448Y) 5x NVIDIA L4 के साथ
जीपीयूपीआई v3.3 - 1बी	0 सेकंड 850ms
जीपीयूपीआई v3.3 - 32बी	50 सेकंड 361 मि.से

 

 

ऑक्टेनबेंच

ऑक्टेनबेंच ऑक्टेनरेंडर के लिए एक बेंचमार्किंग उपयोगिता है, जो वी-रे के समान आरटीएक्स समर्थन वाला एक और 3डी रेंडरर है।

ऑक्टेन (उच्चतर बेहतर है)
दृश्य	गुठली	एनवीडिया एल4	एनवीडिया ए2	एनवीडिया टी4
आंतरिक भाग	सूचना चैनल	15.59	4.49	6.39
	सीधी रोशनी	50.85	14.32	21.76
	पथ अनुरेखण	64.02	18.46	25.76
विचार	सूचना चैनल	9.30	2.77	3.93
	सीधी रोशनी	39.34	11.53	16.79
	पथ अनुरेखण	48.24	14.21	20.32
एटीवी	सूचना चैनल	24.38	6.83	9.50
	सीधी रोशनी	54.86	16.05	21.98
	पथ अनुरेखण	68.98	20.06	27.50
डिब्बा	सूचना चैनल	12.89	3.88	5.42
	सीधी रोशनी	48.80	14.59	21.36
	पथ अनुरेखण	54.56	16.51	23.85
कुल स्कोर		491.83	143.71	204.56

 

 

गीकबेंच 6 जीपीयू

गीकबेंच 6 एक क्रॉस-प्लेटफ़ॉर्म बेंचमार्क है जो समग्र सिस्टम प्रदर्शन को मापता है। सीपीयू और जीपीयू बेंचमार्किंग दोनों के लिए परीक्षण विकल्प हैं। उच्च अंक बेहतर हैं. फिर, हमने केवल GPU परिणामों को देखा।

आप गीकबेंच ब्राउज़र में अपनी इच्छानुसार किसी भी सिस्टम से तुलना पा सकते हैं।

गीकबेंच 6.1.0 (उच्चतर बेहतर है)	एनवीडिया एल4	एनवीडिया ए2	एनवीडिया टी4
गीकबेंच जीपीयू ओपनसीएल	156,224	35,835	83,046

लक्समार्क

लक्समार्क उन लोगों का एक ओपनसीएल क्रॉस-प्लेटफॉर्म बेंचमार्किंग टूल है जो ओपन-सोर्स 3डी रेंडिंग इंजन लक्सरेंडर को बनाए रखता है। यह टूल 3डी मॉडलिंग, लाइटिंग और वीडियो कार्य में जीपीयू प्रदर्शन को देखता है। इस समीक्षा के लिए, हमने नवीनतम संस्करण, v4alpha0 का उपयोग किया। लक्समार्क में, जब स्कोर की बात आती है तो उच्चतर बेहतर होता है।

लक्समार्क v4.0alpha0 ओपनसीएल जीपीयू (उच्चतर बेहतर है)	एनवीडिया एल4	एनवीडिया ए2	एनवीडिया टी4
हॉल बेंच	14,328	3,759	5,893