Inférence multi-GPU pour le calcul distribué
TokenX est conçu pour les environnements de calcul multi-GPU, hétérogènes et distribués. Il orchestre l’inférence IA, optimise les performances et gère les ressources afin de mieux exploiter la capacité GPU disponible.
Orchestration de l’inférence
pour le calcul hétérogène
Boucle d’inférence sur un seul nœud Un parcours vérifiable, de la requête au règlement
TokenX fournit un point de terminaison d’inférence unifié et un workflow vérifiable sur un seul nœud, couvrant le routage des requêtes, le comptage de l’utilisation et les enregistrements de règlement.
API d’inférence compatible avec OpenAI
Envoyez des requêtes de chat à /v1/chat/completions avec stream=true pour recevoir des réponses en continu. Les modèles disponibles et les capacités des nœuds dépendent du statut d’admission.
Voir les détails
vLLM

oMLX

ModelCatalog
Catalogue de modèles et performances des nœuds
Boucle d’inférence sur un seul nœud
L’authentification, le routage en cinq étapes, l’inférence vLLM / oMLX, le streaming, la facturation par paliers et le règlement idempotent composent le workflow actuellement testable sur un seul nœud.
Voir les détailsFiabilité et contrôle du budget
L’annulation à la déconnexion, les limites de débit, les délais d’attente des nœuds, les limites budgétaires et les journaux de requêtes structurés assurent les protections actuellement mises en œuvre pour les requêtes.
Voir les détailsConçu pour les charges d’inférence
du monde réel
TokenX est conçu pour le calcul multi-GPU, hétérogène et distribué. Le partitionnement des modèles et la coordination entre appareils permettent à différents appareils de collaborer à l’inférence de grands modèles, tout en améliorant continuellement l’efficacité de bout en bout.
Exécutez un grand modèle sur des GPU distribués
Explorer les limites des capacitésÉvaluez les coûts de calcul, de traitement par lots, de concurrence et de transfert entre appareils à partir de mesures réelles, puis vérifiez si les optimisations améliorent effectivement le débit global de génération.
Évaluez les stratégies de partitionnement de modèles réalisables selon les modèles de GPU, les capacités mémoire et le nombre d’appareils, plutôt que de vous fier à une configuration matérielle fixe.
Évaluez les stratégies de partitionnement de modèles réalisables selon les modèles de GPU, les capacités mémoire et le nombre d’appareils, plutôt que de vous fier à une configuration matérielle fixe.
Répartissez un modèle sur plusieurs GPU pour exécuter de grands modèles qui ne tiennent pas sur un seul appareil, en mutualisant la mémoire des différents appareils.