A inferência do TokenX em nó único está pronta para uso e validação. Leia a visão geral técnica

Inferência multi-GPU para computação distribuída

O TokenX foi desenvolvido para ambientes de computação multi-GPU, heterogêneos e distribuídos. Ele coordena a inferência de IA, otimiza o desempenho e gerencia recursos para ajudar a aproveitar melhor a capacidade de GPU disponível.

Produtos

Orquestração de inferência
para computação heterogênea

Fluxo de inferência em nó único Um caminho verificável da solicitação à liquidação

O TokenX oferece um endpoint de inferência unificado e um fluxo de trabalho verificável em nó único, que abrange o roteamento de solicitações, a medição de uso e os registros de liquidação.

API de inferência compatível com OpenAI

Envie solicitações de chat para /v1/chat/completions com stream=true para receber respostas em streaming. Os modelos disponíveis e os recursos dos nós dependem do status de admissão.

Ver detalhes

Fluxo de inferência em nó único

Autenticação, roteamento em cinco etapas, inferência com vLLM / oMLX, streaming, cobrança por níveis e liquidação idempotente compõem o fluxo de trabalho em nó único que pode ser testado atualmente.

Ver detalhes

Controles de confiabilidade e orçamento

Cancelamento ao desconectar, limites de taxa, tempos limite dos nós, limites de orçamento e registros estruturados de solicitações oferecem as proteções de solicitação implementadas atualmente.

Ver detalhes

Desenvolvido para cargas de trabalho
de inferência do mundo real

O TokenX foi projetado para computação multi-GPU, heterogênea e distribuída. O particionamento de modelos e a coordenação entre dispositivos permitem que dispositivos diferentes trabalhem juntos na inferência de modelos grandes, enquanto aprimoram continuamente a eficiência de ponta a ponta.

Execute um modelo grande em GPUs distribuídas

Explore os limites dos recursos
Use medições reais dos dispositivos para avaliar a computação, o processamento em lote, a simultaneidade e a sobrecarga de transferência entre dispositivos — e verificar se as otimizações realmente aumentam a taxa de processamento total.
Otimize a taxa de processamento da inferência de ponta a ponta
Avalie estratégias viáveis de particionamento de modelos em diferentes modelos de GPU, capacidades de memória e quantidades de dispositivos, em vez de depender de uma configuração de hardware fixa.
Adapte-se a diferentes configurações de dispositivos

Particione um modelo entre várias GPUs para executar modelos grandes que não cabem em um único dispositivo, usando a memória combinada dos dispositivos.