Multi-GPU-Inferenz für verteilte Rechenleistung
TokenX ist für Umgebungen mit mehreren GPUs, heterogener Hardware und verteilter Rechenleistung konzipiert. Die Plattform koordiniert KI-Inferenz, optimiert die Leistung und verwaltet Ressourcen, damit die verfügbare GPU-Kapazität besser genutzt werden kann.
Inferenz-Orchestrierung
für heterogene Rechenumgebungen
Inferenzablauf auf einem einzelnen Knoten Ein überprüfbarer Weg von der Anfrage bis zur Abrechnung
TokenX bietet einen einheitlichen Inferenz-Endpunkt und einen überprüfbaren Workflow auf einem einzelnen Knoten – von der Anfragerouting über die Nutzungsabrechnung bis zu Abrechnungsdatensätzen.
OpenAI-kompatible Inferenz-API
Senden Sie Chat-Anfragen an /v1/chat/completions mit stream=true, um Antworten im Streaming-Verfahren zu erhalten. Verfügbare Modelle und Knotenfunktionen hängen vom Zulassungsstatus ab.
Details ansehen
vLLM

oMLX

ModelCatalog
Modellkatalog und Knotenleistung
Inferenzablauf auf einem einzelnen Knoten
Authentifizierung, Routing in fünf Stufen, vLLM- / oMLX-Inferenz, Streaming, gestaffelte Abrechnung und idempotente Abwicklung bilden den derzeit testbaren Workflow auf einem einzelnen Knoten.
Details ansehenZuverlässigkeits- und Budgetkontrollen
Abbruch bei Verbindungsabbruch, Ratenbegrenzungen, Knoten-Timeouts, Budgetlimits und strukturierte Anfrageprotokolle bieten die derzeit implementierten Schutzmaßnahmen für Anfragen.
Details ansehenFür reale Inferenz-
Workloads entwickelt
TokenX ist für Multi-GPU-, heterogene und verteilte Rechenumgebungen konzipiert. Modellpartitionierung und geräteübergreifende Koordination ermöglichen es verschiedenen Geräten, gemeinsam Inferenz für große Modelle auszuführen und dabei die Ende-zu-Ende-Effizienz kontinuierlich zu verbessern.
Ein großes Modell auf verteilten GPUs ausführen
Funktionsgrenzen erkundenNutzen Sie reale Gerätemessungen, um Rechenleistung, Batching, Parallelität und den Aufwand für die geräteübergreifende Übergabe zu bewerten – und zu überprüfen, ob Optimierungen den Gesamtdurchsatz tatsächlich verbessern.
Bewerten Sie geeignete Strategien zur Modellpartitionierung über GPU-Modelle, Speicherkapazitäten und Geräteanzahlen hinweg, statt sich auf eine feste Hardwarekonfiguration zu verlassen.
Bewerten Sie geeignete Strategien zur Modellpartitionierung über GPU-Modelle, Speicherkapazitäten und Geräteanzahlen hinweg, statt sich auf eine feste Hardwarekonfiguration zu verlassen.
Verteilen Sie ein Modell auf mehrere GPUs, damit große Modelle, die nicht auf ein einzelnes Gerät passen, den gebündelten Speicher mehrerer Geräte nutzen können.