TokenX का सिंगल-नोड इन्फ़रेंस इस्तेमाल और सत्यापन के लिए तैयार है. तकनीकी परिचय पढ़ें

वितरित कंप्यूट के लिए मल्टी-GPU इन्फ़रेंस

TokenX को मल्टी-GPU, विषम और वितरित कंप्यूट परिवेशों के लिए बनाया गया है। यह AI इन्फ़रेंस का समन्वय करता है, प्रदर्शन को अनुकूलित करता है और संसाधनों का प्रबंधन करता है, ताकि उपलब्ध GPU क्षमता का बेहतर उपयोग हो सके।

उत्पाद

इन्फ़रेंस ऑर्केस्ट्रेशन
विषम कंप्यूट के लिए

सिंगल-नोड इन्फ़रेंस प्रक्रिया अनुरोध से निपटान तक सत्यापन योग्य प्रक्रिया

TokenX एकीकृत इन्फ़रेंस एंडपॉइंट और सत्यापन योग्य सिंगल-नोड वर्कफ़्लो देता है, जिसमें अनुरोध रूटिंग, उपयोग मापन और निपटान रिकॉर्ड शामिल हैं।

OpenAI-संगत इन्फ़रेंस API

स्ट्रीमिंग जवाबों के लिए stream=true के साथ /v1/chat/completions पर चैट अनुरोध भेजें। उपलब्ध मॉडल और नोड क्षमताएँ प्रवेश स्थिति पर निर्भर करती हैं।

विवरण देखें

सिंगल-नोड इन्फ़रेंस प्रक्रिया

प्रमाणीकरण, पाँच-चरणीय रूटिंग, vLLM / oMLX इन्फ़रेंस, स्ट्रीमिंग, स्तरीय बिलिंग और इडेम्पोटेंट निपटान मिलकर मौजूदा परीक्षण योग्य सिंगल-नोड वर्कफ़्लो बनाते हैं।

विवरण देखें

विश्वसनीयता और बजट नियंत्रण

डिस्कनेक्ट होने पर रद्दीकरण, रेट लिमिट, नोड टाइमआउट, बजट सीमाएँ और संरचित अनुरोध लॉग मौजूदा अनुरोध सुरक्षा उपाय देते हैं।

विवरण देखें

वास्तविक इन्फ़रेंस वर्कलोड के लिए बनाया गया
वर्कलोड

TokenX को मल्टी-GPU, विषम और वितरित कंप्यूट के लिए डिज़ाइन किया गया है। मॉडल विभाजन और डिवाइसों के बीच समन्वय अलग-अलग डिवाइसों को बड़े मॉडल के इन्फ़रेंस पर साथ काम करने देते हैं और शुरू से अंत तक की दक्षता में लगातार सुधार करते हैं।

एक बड़ा मॉडल वितरित GPU पर चलाएँ

क्षमता की सीमाएँ जानें
कंप्यूट, बैचिंग, समवर्ती अनुरोधों और डिवाइसों के बीच हस्तांतरण के ओवरहेड का आकलन करने के लिए वास्तविक डिवाइस माप का उपयोग करें—और सत्यापित करें कि अनुकूलन से कुल आउटपुट थ्रूपुट में वास्तव में सुधार होता है या नहीं।
शुरू से अंत तक इन्फ़रेंस थ्रूपुट अनुकूलित करें
GPU मॉडल, मेमोरी क्षमता और डिवाइसों की संख्या के आधार पर व्यवहार्य मॉडल-विभाजन रणनीतियों का आकलन करें, न कि किसी तय हार्डवेयर कॉन्फ़िगरेशन पर निर्भर रहें।
अलग-अलग डिवाइस कॉन्फ़िगरेशन के अनुसार ढलें

मॉडल को कई GPU में बाँटें, ताकि एक डिवाइस में न समाने वाले बड़े मॉडल, सभी डिवाइसों की साझा मेमोरी का उपयोग करके चल सकें।