Suy luận đa GPU cho điện toán phân tán
TokenX được xây dựng cho các môi trường điện toán đa GPU, không đồng nhất và phân tán. Nền tảng điều phối suy luận AI, tối ưu hiệu năng và quản lý tài nguyên để tận dụng tốt hơn năng lực GPU hiện có.
Điều phối suy luận
cho điện toán không đồng nhất
Quy trình suy luận trên một nút Quy trình có thể kiểm chứng từ yêu cầu đến đối soát
TokenX cung cấp một điểm cuối suy luận thống nhất và quy trình làm việc trên một nút có thể kiểm chứng, bao gồm định tuyến yêu cầu, đo lường mức sử dụng và hồ sơ đối soát.
API suy luận tương thích với OpenAI
Gửi yêu cầu trò chuyện đến /v1/chat/completions với stream=true để nhận phản hồi trực tuyến. Các mô hình khả dụng và năng lực của nút phụ thuộc vào trạng thái được chấp nhận.
Xem chi tiết
vLLM

oMLX

ModelCatalog
Danh mục mô hình và hiệu năng nút
Quy trình suy luận trên một nút
Xác thực, định tuyến năm giai đoạn, suy luận vLLM / oMLX, phản hồi trực tuyến, tính phí theo bậc và đối soát idempotent tạo thành quy trình trên một nút hiện có thể kiểm thử.
Xem chi tiếtKiểm soát độ tin cậy và ngân sách
Hủy khi ngắt kết nối, giới hạn tốc độ, thời gian chờ nút, giới hạn ngân sách và nhật ký yêu cầu có cấu trúc cung cấp các biện pháp bảo vệ yêu cầu hiện đã được triển khai.
Xem chi tiếtĐược xây dựng cho các tác vụ suy luận
trong thực tế
TokenX được thiết kế cho điện toán đa GPU, không đồng nhất và phân tán. Phân vùng mô hình và điều phối giữa các thiết bị cho phép nhiều thiết bị phối hợp suy luận mô hình lớn, đồng thời liên tục cải thiện hiệu quả đầu cuối.
Chạy một mô hình lớn trên các GPU phân tán
Khám phá giới hạn năng lựcSử dụng số đo thực tế từ thiết bị để đánh giá năng lực tính toán, xử lý theo lô, mức độ đồng thời và chi phí bàn giao giữa các thiết bị — đồng thời xác minh liệu các tối ưu hóa có thực sự cải thiện thông lượng đầu ra tổng hợp hay không.
Đánh giá các chiến lược phân vùng mô hình khả thi trên nhiều dòng GPU, dung lượng bộ nhớ và số lượng thiết bị, thay vì dựa vào một cấu hình phần cứng cố định.
Đánh giá các chiến lược phân vùng mô hình khả thi trên nhiều dòng GPU, dung lượng bộ nhớ và số lượng thiết bị, thay vì dựa vào một cấu hình phần cứng cố định.
Phân vùng mô hình trên nhiều GPU để chạy các mô hình lớn không thể vừa trên một thiết bị, bằng cách gộp bộ nhớ giữa các thiết bị.