الاستدلال متعدد وحدات GPU للحوسبة الموزعة
صُمم TokenX لبيئات الحوسبة متعددة وحدات GPU وغير المتجانسة والموزعة. وينسّق استدلال الذكاء الاصطناعي، ويحسّن الأداء، ويدير الموارد للمساعدة على الاستفادة بشكل أفضل من سعة GPU المتاحة.
تنسيق الاستدلال
للحوسبة غير المتجانسة
حلقة الاستدلال على عقدة واحدة مسار قابل للتحقق من الطلب إلى التسوية
يوفر TokenX نقطة نهاية موحدة للاستدلال وسير عمل قابلًا للتحقق على عقدة واحدة، يشمل توجيه الطلبات وقياس الاستخدام وسجلات التسوية.
واجهة API للاستدلال متوافقة مع OpenAI
أرسل طلبات المحادثة إلى /v1/chat/completions مع stream=true للحصول على استجابات متدفقة. يعتمد توفر النماذج وإمكانات العقدة على حالة القبول.
عرض التفاصيل
vLLM

oMLX

ModelCatalog
كتالوج النماذج وأداء العقد
حلقة الاستدلال على عقدة واحدة
يشكّل الاستيثاق والتوجيه عبر خمس مراحل والاستدلال باستخدام vLLM / oMLX والبث والفوترة المتدرجة والتسوية المتكررة بأمان سير العمل الحالي القابل للاختبار على عقدة واحدة.
عرض التفاصيلضوابط الموثوقية والميزانية
يوفر إلغاء الطلب عند انقطاع الاتصال وحدود المعدل ومهل انتهاء العقد وحدود الميزانية وسجلات الطلبات المنظمة وسائل الحماية المطبقة حاليًا للطلبات.
عرض التفاصيلمصمم لأحمال عمل الاستدلال
في العالم الحقيقي
صُمم TokenX للحوسبة متعددة وحدات GPU وغير المتجانسة والموزعة. يتيح تقسيم النماذج والتنسيق بين الأجهزة المختلفة العمل معًا على استدلال النماذج الكبيرة، مع تحسين الكفاءة من البداية إلى النهاية باستمرار.
شغّل نموذجًا كبيرًا واحدًا عبر وحدات GPU موزعة
استكشف حدود الإمكاناتاستخدم قياسات فعلية للأجهزة لتقييم الحوسبة وتجميع الطلبات والتزامن وكلفة التسليم بين الأجهزة، والتحقق مما إذا كانت التحسينات تزيد بالفعل معدل الإنتاجية الإجمالي.
قيّم استراتيجيات تقسيم النماذج الممكنة عبر طرازات GPU وسعات الذاكرة وعدد الأجهزة، بدلًا من الاعتماد على تكوين عتاد ثابت.
قيّم استراتيجيات تقسيم النماذج الممكنة عبر طرازات GPU وسعات الذاكرة وعدد الأجهزة، بدلًا من الاعتماد على تكوين عتاد ثابت.
قسّم النموذج على عدة وحدات GPU لتمكين تشغيل النماذج الكبيرة التي لا تتسع لها وحدة واحدة، باستخدام الذاكرة المجمعة عبر الأجهزة.