Suy luận trên một nút của TokenX đã sẵn sàng để sử dụng và kiểm chứng. Đọc tổng quan kỹ thuật

Suy luận đa GPU cho điện toán phân tán

TokenX được xây dựng cho các môi trường điện toán đa GPU, không đồng nhất và phân tán. Nền tảng điều phối suy luận AI, tối ưu hiệu năng và quản lý tài nguyên để tận dụng tốt hơn năng lực GPU hiện có.

Sản phẩm

Điều phối suy luận
cho điện toán không đồng nhất

Quy trình suy luận trên một nút Quy trình có thể kiểm chứng từ yêu cầu đến đối soát

TokenX cung cấp một điểm cuối suy luận thống nhất và quy trình làm việc trên một nút có thể kiểm chứng, bao gồm định tuyến yêu cầu, đo lường mức sử dụng và hồ sơ đối soát.

API suy luận tương thích với OpenAI

Gửi yêu cầu trò chuyện đến /v1/chat/completions với stream=true để nhận phản hồi trực tuyến. Các mô hình khả dụng và năng lực của nút phụ thuộc vào trạng thái được chấp nhận.

Xem chi tiết

Quy trình suy luận trên một nút

Xác thực, định tuyến năm giai đoạn, suy luận vLLM / oMLX, phản hồi trực tuyến, tính phí theo bậc và đối soát idempotent tạo thành quy trình trên một nút hiện có thể kiểm thử.

Xem chi tiết

Kiểm soát độ tin cậy và ngân sách

Hủy khi ngắt kết nối, giới hạn tốc độ, thời gian chờ nút, giới hạn ngân sách và nhật ký yêu cầu có cấu trúc cung cấp các biện pháp bảo vệ yêu cầu hiện đã được triển khai.

Xem chi tiết

Được xây dựng cho các tác vụ suy luận
trong thực tế

TokenX được thiết kế cho điện toán đa GPU, không đồng nhất và phân tán. Phân vùng mô hình và điều phối giữa các thiết bị cho phép nhiều thiết bị phối hợp suy luận mô hình lớn, đồng thời liên tục cải thiện hiệu quả đầu cuối.

Chạy một mô hình lớn trên các GPU phân tán

Khám phá giới hạn năng lực
Sử dụng số đo thực tế từ thiết bị để đánh giá năng lực tính toán, xử lý theo lô, mức độ đồng thời và chi phí bàn giao giữa các thiết bị — đồng thời xác minh liệu các tối ưu hóa có thực sự cải thiện thông lượng đầu ra tổng hợp hay không.
Tối ưu thông lượng suy luận đầu cuối
Đánh giá các chiến lược phân vùng mô hình khả thi trên nhiều dòng GPU, dung lượng bộ nhớ và số lượng thiết bị, thay vì dựa vào một cấu hình phần cứng cố định.
Thích ứng với các cấu hình thiết bị khác nhau

Phân vùng mô hình trên nhiều GPU để chạy các mô hình lớn không thể vừa trên một thiết bị, bằng cách gộp bộ nhớ giữa các thiết bị.

Khám phá năng lực của TokenX