استدلال TokenX على عقدة واحدة جاهز للاستخدام والتحقق. اقرأ النظرة العامة التقنية

الاستدلال متعدد وحدات GPU للحوسبة الموزعة

صُمم TokenX لبيئات الحوسبة متعددة وحدات GPU وغير المتجانسة والموزعة. وينسّق استدلال الذكاء الاصطناعي، ويحسّن الأداء، ويدير الموارد للمساعدة على الاستفادة بشكل أفضل من سعة GPU المتاحة.

المنتجات

تنسيق الاستدلال
للحوسبة غير المتجانسة

حلقة الاستدلال على عقدة واحدة مسار قابل للتحقق من الطلب إلى التسوية

يوفر TokenX نقطة نهاية موحدة للاستدلال وسير عمل قابلًا للتحقق على عقدة واحدة، يشمل توجيه الطلبات وقياس الاستخدام وسجلات التسوية.

واجهة API للاستدلال متوافقة مع OpenAI

أرسل طلبات المحادثة إلى /v1/chat/completions مع stream=true للحصول على استجابات متدفقة. يعتمد توفر النماذج وإمكانات العقدة على حالة القبول.

عرض التفاصيل

حلقة الاستدلال على عقدة واحدة

يشكّل الاستيثاق والتوجيه عبر خمس مراحل والاستدلال باستخدام vLLM / oMLX والبث والفوترة المتدرجة والتسوية المتكررة بأمان سير العمل الحالي القابل للاختبار على عقدة واحدة.

عرض التفاصيل

ضوابط الموثوقية والميزانية

يوفر إلغاء الطلب عند انقطاع الاتصال وحدود المعدل ومهل انتهاء العقد وحدود الميزانية وسجلات الطلبات المنظمة وسائل الحماية المطبقة حاليًا للطلبات.

عرض التفاصيل

مصمم لأحمال عمل الاستدلال
في العالم الحقيقي

صُمم TokenX للحوسبة متعددة وحدات GPU وغير المتجانسة والموزعة. يتيح تقسيم النماذج والتنسيق بين الأجهزة المختلفة العمل معًا على استدلال النماذج الكبيرة، مع تحسين الكفاءة من البداية إلى النهاية باستمرار.

شغّل نموذجًا كبيرًا واحدًا عبر وحدات GPU موزعة

استكشف حدود الإمكانات
استخدم قياسات فعلية للأجهزة لتقييم الحوسبة وتجميع الطلبات والتزامن وكلفة التسليم بين الأجهزة، والتحقق مما إذا كانت التحسينات تزيد بالفعل معدل الإنتاجية الإجمالي.
حسّن معدل إنتاجية الاستدلال من البداية إلى النهاية
قيّم استراتيجيات تقسيم النماذج الممكنة عبر طرازات GPU وسعات الذاكرة وعدد الأجهزة، بدلًا من الاعتماد على تكوين عتاد ثابت.
التكيّف مع تكوينات الأجهزة المختلفة

قسّم النموذج على عدة وحدات GPU لتمكين تشغيل النماذج الكبيرة التي لا تتسع لها وحدة واحدة، باستخدام الذاكرة المجمعة عبر الأجهزة.