Inferencia multi-GPU para computación distribuida
TokenX está diseñado para entornos de computación multi-GPU, heterogéneos y distribuidos. Coordina la inferencia de IA, optimiza el rendimiento y administra los recursos para aprovechar mejor la capacidad GPU disponible.
Orquestación de inferencia
para computación heterogénea
Flujo de inferencia en un solo nodo Un proceso verificable desde la solicitud hasta la liquidación
TokenX ofrece un endpoint de inferencia unificado y un flujo de trabajo verificable en un solo nodo que abarca el enrutamiento de solicitudes, la medición del uso y los registros de liquidación.
API de inferencia compatible con OpenAI
Envía solicitudes de chat a /v1/chat/completions con stream=true para recibir respuestas en streaming. Los modelos disponibles y las capacidades de los nodos dependen del estado de admisión.
Ver detalles
vLLM

oMLX

ModelCatalog
Catálogo de modelos y rendimiento de los nodos
Flujo de inferencia en un solo nodo
La autenticación, el enrutamiento en cinco etapas, la inferencia con vLLM / oMLX, el streaming, la facturación por niveles y la liquidación idempotente conforman el flujo de trabajo en un solo nodo que se puede probar actualmente.
Ver detallesControles de confiabilidad y presupuesto
La cancelación al desconectarse, los límites de solicitudes, los tiempos de espera de los nodos, los límites de presupuesto y los registros estructurados de solicitudes ofrecen las protecciones actualmente implementadas.
Ver detallesDiseñado para cargas de trabajo de inferencia
del mundo real
TokenX está diseñado para la computación multi-GPU, heterogénea y distribuida. La partición de modelos y la coordinación entre dispositivos permiten que distintos dispositivos colaboren en la inferencia de modelos grandes, mientras mejoran continuamente la eficiencia de extremo a extremo.
Ejecuta un modelo grande en GPU distribuidas
Explorar los límites de las capacidadesUsa mediciones reales de los dispositivos para evaluar el cómputo, el procesamiento por lotes, la concurrencia y la sobrecarga de transferencia entre dispositivos; verifica si las optimizaciones realmente mejoran el rendimiento total de salida.
Evalúa estrategias viables para particionar modelos en distintas GPU, capacidades de memoria y cantidades de dispositivos, en lugar de depender de una configuración de hardware fija.
Evalúa estrategias viables para particionar modelos en distintas GPU, capacidades de memoria y cantidades de dispositivos, en lugar de depender de una configuración de hardware fija.
Divide un modelo entre varias GPU para ejecutar modelos grandes que no caben en un solo dispositivo, usando la memoria combinada de varios dispositivos.