Inferência multi-GPU para computação distribuída
O TokenX foi desenvolvido para ambientes de computação multi-GPU, heterogêneos e distribuídos. Ele coordena a inferência de IA, otimiza o desempenho e gerencia recursos para ajudar a aproveitar melhor a capacidade de GPU disponível.
Orquestração de inferência
para computação heterogênea
Fluxo de inferência em nó único Um caminho verificável da solicitação à liquidação
O TokenX oferece um endpoint de inferência unificado e um fluxo de trabalho verificável em nó único, que abrange o roteamento de solicitações, a medição de uso e os registros de liquidação.
API de inferência compatível com OpenAI
Envie solicitações de chat para /v1/chat/completions com stream=true para receber respostas em streaming. Os modelos disponíveis e os recursos dos nós dependem do status de admissão.
Ver detalhes
vLLM

oMLX

ModelCatalog
Catálogo de modelos e desempenho dos nós
Fluxo de inferência em nó único
Autenticação, roteamento em cinco etapas, inferência com vLLM / oMLX, streaming, cobrança por níveis e liquidação idempotente compõem o fluxo de trabalho em nó único que pode ser testado atualmente.
Ver detalhesControles de confiabilidade e orçamento
Cancelamento ao desconectar, limites de taxa, tempos limite dos nós, limites de orçamento e registros estruturados de solicitações oferecem as proteções de solicitação implementadas atualmente.
Ver detalhesDesenvolvido para cargas de trabalho
de inferência do mundo real
O TokenX foi projetado para computação multi-GPU, heterogênea e distribuída. O particionamento de modelos e a coordenação entre dispositivos permitem que dispositivos diferentes trabalhem juntos na inferência de modelos grandes, enquanto aprimoram continuamente a eficiência de ponta a ponta.
Execute um modelo grande em GPUs distribuídas
Explore os limites dos recursosUse medições reais dos dispositivos para avaliar a computação, o processamento em lote, a simultaneidade e a sobrecarga de transferência entre dispositivos — e verificar se as otimizações realmente aumentam a taxa de processamento total.
Avalie estratégias viáveis de particionamento de modelos em diferentes modelos de GPU, capacidades de memória e quantidades de dispositivos, em vez de depender de uma configuração de hardware fixa.
Avalie estratégias viáveis de particionamento de modelos em diferentes modelos de GPU, capacidades de memória e quantidades de dispositivos, em vez de depender de uma configuração de hardware fixa.
Particione um modelo entre várias GPUs para executar modelos grandes que não cabem em um único dispositivo, usando a memória combinada dos dispositivos.