L’inférence TokenX sur un seul nœud est prête à l’emploi et vérifiable. Lire la présentation technique

Inférence multi-GPU pour le calcul distribué

TokenX est conçu pour les environnements de calcul multi-GPU, hétérogènes et distribués. Il orchestre l’inférence IA, optimise les performances et gère les ressources afin de mieux exploiter la capacité GPU disponible.

Produits

Orchestration de l’inférence
pour le calcul hétérogène

Boucle d’inférence sur un seul nœud Un parcours vérifiable, de la requête au règlement

TokenX fournit un point de terminaison d’inférence unifié et un workflow vérifiable sur un seul nœud, couvrant le routage des requêtes, le comptage de l’utilisation et les enregistrements de règlement.

API d’inférence compatible avec OpenAI

Envoyez des requêtes de chat à /v1/chat/completions avec stream=true pour recevoir des réponses en continu. Les modèles disponibles et les capacités des nœuds dépendent du statut d’admission.

Voir les détails

Boucle d’inférence sur un seul nœud

L’authentification, le routage en cinq étapes, l’inférence vLLM / oMLX, le streaming, la facturation par paliers et le règlement idempotent composent le workflow actuellement testable sur un seul nœud.

Voir les détails

Fiabilité et contrôle du budget

L’annulation à la déconnexion, les limites de débit, les délais d’attente des nœuds, les limites budgétaires et les journaux de requêtes structurés assurent les protections actuellement mises en œuvre pour les requêtes.

Voir les détails

Conçu pour les charges d’inférence
du monde réel

TokenX est conçu pour le calcul multi-GPU, hétérogène et distribué. Le partitionnement des modèles et la coordination entre appareils permettent à différents appareils de collaborer à l’inférence de grands modèles, tout en améliorant continuellement l’efficacité de bout en bout.

Exécutez un grand modèle sur des GPU distribués

Explorer les limites des capacités
Évaluez les coûts de calcul, de traitement par lots, de concurrence et de transfert entre appareils à partir de mesures réelles, puis vérifiez si les optimisations améliorent effectivement le débit global de génération.
Optimisez le débit d’inférence de bout en bout
Évaluez les stratégies de partitionnement de modèles réalisables selon les modèles de GPU, les capacités mémoire et le nombre d’appareils, plutôt que de vous fier à une configuration matérielle fixe.
Adaptez-vous à différentes configurations d’appareils

Répartissez un modèle sur plusieurs GPU pour exécuter de grands modèles qui ne tiennent pas sur un seul appareil, en mutualisant la mémoire des différents appareils.