डायनामिक कंप्यूट अनुकूलन
Chloros 1.1.0 बुद्धिमान हार्डवेयर पहचान और स्वचालित प्रसंस्करण रणनीति चयन पेश करता है। प्रोसेसिंग इंजन आपके हार्डवेयर के अनुकूल हो जाता है - जेटसन नैनो से लेकर मल्टी-जीपीयू वर्कस्टेशन तक - बिना किसी मैन्युअल कॉन्फ़िगरेशन के।
यह काम किस प्रकार करता है
जब Chloros प्रारंभ होता है, तो यह स्वचालित रूप से आपके सिस्टम को प्रोफाइल करता है:
ऑपरेटिंग सिस्टम का पता लगाता है - Windows या Linux
सीपीयू कोर और कुल रैम की पहचान करता है
3.GPU उपस्थिति का पता लगाता है - NVIDIA CUDA क्षमता, VRAM, मॉडल 4. जेटसन मॉडल की पहचान करता है (यदि लागू हो) - /proc/device-tree/model के माध्यम से 5. थर्मल सेंसर की जांच करता है (जेटसन) - तापमान-जागरूक प्रसंस्करण के लिए 6. सभी ज्ञात हार्डवेयर के आधार पर इष्टतम गणना रणनीति का चयन करता है
7.कार्यकर्ता संख्या, पाइपलाइन प्रकार और मेमोरी आवंटन को स्वचालित रूप से कॉन्फ़िगर करता हैपरिणाम कैश किया गया है इसलिए बाद के रन तेजी से शुरू होते हैं। यदि हार्डवेयर बदलता है (उदाहरण के लिए, एक GPU जोड़ा जाता है), तो Chloros अगले लॉन्च पर पुनः प्रोफ़ाइल करता है।***
गणना रणनीतियाँ
Chloros आपके हार्डवेयर के आधार पर तीन गणना रणनीतियों में से एक का चयन करता है:
GPU_PARALLEL
हाँ (12जीबी+ वीआरएएम या 16जीबी+ साझा)
3-4
fused_gpu
12जीबी+ के साथ डेस्कटॉप जीपीयू, जेटसन ओरिन एनएक्स 16जीबी, एजीएक्स ओरिन
GPU_SINGLE
हाँ (<12जीबी वीआरएएम)
1-3
tiled_gpu
प्रवेश स्तर के जीपीयू, जेटसन नैनो, ओरिन नैनो
CPU_PARALLEL
नहीं
कोर - 1
cpu_fallback
NVIDIA GPU के बिना सिस्टम
पाइपलाइन प्रकार
fused_gpu— पूर्ण GPU प्रसंस्करण पथ। सभी डिबेयर, सुधार और इंडेक्स ऑपरेशन एक ही फ़्यूज्ड पास में GPU पर चलते हैं। उच्चतम थ्रूपुट लेकिन अधिक वीआरएएम की आवश्यकता है।tiled_gpu— मेमोरी-कुशल GPU पथ। सीमित GPU मेमोरी में फ़िट करने के लिए छवियों को टाइल्स में संसाधित करता है। कम थ्रूपुट लेकिन मेमोरी-बाधित उपकरणों पर काम करता है।cpu_fallback- बहु-थ्रेडेड समानता का उपयोग करके केवल सीपीयू प्रसंस्करण। इसका उपयोग तब किया जाता है जब कोई NVIDIA GPU उपलब्ध नहीं होता है।***
प्लेटफ़ॉर्म-विशिष्ट व्यवहार
जेटसन नैनो 8जीबी
GPU_SINGLE
1
tiled_gpu (क्रमबद्ध)
मेमोरी-कुशल मोड, एक समय में एक छवि को संसाधित करता है
जेटसन ओरिन एनएक्स 16जीबी
GPU_PARALLEL
3
fused_gpu (समवर्ती)
अनुशंसित एज डिवाइस - वास्तविक समानांतर जीपीयू प्रोसेसिंग
जेटसन एजीएक्स ओरिन 64जीबी
GPU_PARALLEL
4
fused_gpu (समवर्ती)
अधिकतम बढ़त प्रदर्शन
8GB GPU के साथ डेस्कटॉप
GPU_SINGLE
3
tiled_gpu
मेमोरी-कुशल टाइल्स के साथ अच्छा डेस्कटॉप प्रदर्शन
12जीबी+ जीपीयू के साथ डेस्कटॉप
GPU_PARALLEL
3-4
fused_gpu
इष्टतम डेस्कटॉप प्रदर्शन
केवल सीपीयू प्रणाली
CPU_PARALLEL
कोर - 1
cpu_fallback
किसी GPU की आवश्यकता नहीं, थ्रेडपूल का उपयोग करता है
जेटसन एकीकृत मेमोरी: जेटसन डिवाइस जीपीयू और सीपीयू मेमोरी साझा करते हैं। जेटसन ओरिन एनएक्स 16जीबी ~15.3जीबी वीआरएएम की रिपोर्ट करता है, लेकिन यह वही भौतिक रैम है जिसका उपयोग ओएस और सीपीयू प्रक्रियाओं द्वारा किया जाता है। मेमोरी आवंटन सीमा निर्धारित करते समय Chloros इसका ध्यान रखता है।
डायनेमिक जीपीयू मेमोरी आवंटन
Chloros एक 4-थ्रेड प्रोसेसिंग पाइपलाइन का उपयोग करता है:
थ्रेड 1 (पहचान) - छवि लोडिंग, EXIF पार्सिंग, लक्ष्य का पता लगाना
थ्रेड 2 (अंशांकन) - परावर्तन अंशांकन गणना
थ्रेड 3 (प्रसंस्करण) - जीपीयू डिबेयर, विग्नेट सुधार, सूचकांक गणना
थ्रेड 4 (निर्यात) - फ़ाइल लेखन, मेटाडेटा एम्बेडिंग
जैसे ही पहले पाइपलाइन थ्रेड अपना काम पूरा करते हैं (उदाहरण के लिए, सभी छवियों का पता लगाया गया है), उनका जीपीयू मेमोरी आवंटन जारी किया जाता है और शेष सक्रिय थ्रेड्स को पुनर्वितरित किया जाता है। इसका मतलब है कि थ्रेड 3 (जीपीयू-सघन चरण) को पाइपलाइन के आगे बढ़ने के साथ उत्तरोत्तर अधिक मेमोरी मिलती है, जिससे सबसे अधिक गणना-गहन कार्य के लिए थ्रूपुट में सुधार होता है।
आवंटन चरण
जल्दी
1, 2, 3, 4
सभी धागों में विभाजित करें
मध्य-प्रारंभिक
2, 3, 4
थ्रेड 1 मेमोरी पुनर्वितरित
मध्य-देर
3, 4
थ्रेड्स 1+2 मेमोरी 3+4 पर जाती है
देर से
3 या 4
शेष थ्रेड के लिए अधिकतम मेमोरी
बनावट जागरूक प्रसंस्करण
टेक्सचर अवेयर डिबायर विधि (केवल Chloros+) AI/ML डीनोइज़िंग मॉडल के कारण मानक विधि की तुलना में काफी अधिक GPU मेमोरी का उपयोग करती है:*<7जीबी वीआरएएम वाले सिस्टम को टेक्सचर अवेयर मोड (एक समय में एक छवि) के लिए एक सिंक्रोनस प्रोसेसिंग लूप में मजबूर किया जाता है।
7जीबी+ वीआरएएम वाले सिस्टम टेक्सचर अवेयर को एक साथ प्रोसेस कर सकते हैं, हालांकि मानक की तुलना में कम कर्मचारी संख्या पर***
थर्मल प्रबंधन (जेटसन)
जेटसन उपकरणों में थर्मल बाधाएं होती हैं, खासकर बंद या हवाई तैनाती में। Chloros GPU और CPU तापमान की निगरानी करता है और स्वचालित रूप से प्रसंस्करण को समायोजित करता है:
<70°C
सामान्य संचालन - पूर्ण गति
70°सेल्सियस (चेतावनी)
बैच का आकार कम करें
80°C (गंभीर)
आक्रामक थ्रॉटलिंग - कम संगामिति और कार्यकर्ता गिनती
90°C (बंद)
GPU प्रोसेसिंग पूरी तरह से बंद करें
तापमान निगरानी जेटसन प्लेटफॉर्म पर tegrastats का उपयोग करती है। पर्याप्त कूलिंग वाले डेस्कटॉप सिस्टम पर, थर्मल थ्रॉटलिंग शायद ही कभी ट्रिगर होती है।
मेमोरी प्रेशर हैंडलिंग
Chloros प्रोसेसिंग के दौरान सिस्टम मेमोरी दबाव की निगरानी करता है:
मेमोरी सीमा: 85% उपयोग रूढ़िवादी व्यवहार को ट्रिगर करता है
ओओएम में कमी: यदि कोई आउट-ऑफ-मेमोरी घटना होती है, तो आवंटन 25% कम हो जाता है (0.75x गुणक)
पाइपलाइन फ़ॉलबैक: गंभीर मेमोरी दबाव के तहत, पाइपलाइन स्वचालित रूप से
fused_gpuसेtiled_gpuपर वापस आ जाती हैस्वैप अनुशंसाएँ: जेटसन पर, Chloros आपको चेतावनी देता है कि क्या स्वैप स्थान आपके डेटासेट आकार के लिए अपर्याप्त है***
मॉनिटरिंग कंप्यूट अनुकूलन
CLI स्थिति आउटपुट
जब प्रसंस्करण शुरू होता है, तो CLI पता लगाए गए हार्डवेयर प्रोफ़ाइल को प्रदर्शित करता है:
सिस्टम डायग्नोस्टिक्स
पूर्ण हार्डवेयर प्रोफ़ाइल देखने और गणना क्षमताओं को सत्यापित करने के लिए chloros-cli selftest चलाएँ:
यह CUDA उपलब्धता, GPU मेमोरी, डिनोइज़र मॉडल और बैकएंड कनेक्टिविटी की जाँच करता है।
अगले कदम
प्रोसेसिंग पाइपलाइन - 4-थ्रेड पाइपलाइन आर्किटेक्चर को समझना
एनवीडिया जेटसन गाइड - जेटसन-विशिष्ट परिनियोजन और अनुकूलन
CLI : कमांड लाइन - पूर्ण CLI संदर्भ
Last updated