La inferencia de TokenX en un solo nodo está lista para usar y verificar. Leer la descripción técnica

Inferencia multi-GPU para computación distribuida

TokenX está diseñado para entornos de computación multi-GPU, heterogéneos y distribuidos. Coordina la inferencia de IA, optimiza el rendimiento y administra los recursos para aprovechar mejor la capacidad GPU disponible.

Productos

Orquestación de inferencia
para computación heterogénea

Flujo de inferencia en un solo nodo Un proceso verificable desde la solicitud hasta la liquidación

TokenX ofrece un endpoint de inferencia unificado y un flujo de trabajo verificable en un solo nodo que abarca el enrutamiento de solicitudes, la medición del uso y los registros de liquidación.

API de inferencia compatible con OpenAI

Envía solicitudes de chat a /v1/chat/completions con stream=true para recibir respuestas en streaming. Los modelos disponibles y las capacidades de los nodos dependen del estado de admisión.

Ver detalles

Flujo de inferencia en un solo nodo

La autenticación, el enrutamiento en cinco etapas, la inferencia con vLLM / oMLX, el streaming, la facturación por niveles y la liquidación idempotente conforman el flujo de trabajo en un solo nodo que se puede probar actualmente.

Ver detalles

Controles de confiabilidad y presupuesto

La cancelación al desconectarse, los límites de solicitudes, los tiempos de espera de los nodos, los límites de presupuesto y los registros estructurados de solicitudes ofrecen las protecciones actualmente implementadas.

Ver detalles

Diseñado para cargas de trabajo de inferencia
del mundo real

TokenX está diseñado para la computación multi-GPU, heterogénea y distribuida. La partición de modelos y la coordinación entre dispositivos permiten que distintos dispositivos colaboren en la inferencia de modelos grandes, mientras mejoran continuamente la eficiencia de extremo a extremo.

Ejecuta un modelo grande en GPU distribuidas

Explorar los límites de las capacidades
Usa mediciones reales de los dispositivos para evaluar el cómputo, el procesamiento por lotes, la concurrencia y la sobrecarga de transferencia entre dispositivos; verifica si las optimizaciones realmente mejoran el rendimiento total de salida.
Optimiza el rendimiento de inferencia de extremo a extremo
Evalúa estrategias viables para particionar modelos en distintas GPU, capacidades de memoria y cantidades de dispositivos, en lugar de depender de una configuración de hardware fija.
Adáptate a distintas configuraciones de dispositivos

Divide un modelo entre varias GPU para ejecutar modelos grandes que no caben en un solo dispositivo, usando la memoria combinada de varios dispositivos.