Inference Hero

Câu hỏi thường gặp

Inference Hero là gì?

Inference Hero đang được phát triển thành một lớp định tuyến suy luận AI dựa trên thị trường. Mục tiêu là so sánh các nhà cung cấp, mô hình và năng lực tính toán phù hợp, có xét đến giá cả, hiệu năng, khả năng cung cấp, thời hạn và ràng buộc của tác vụ.

Dịch vụ giải quyết vấn đề gì?

Giá cả và năng lực suy luận bị phân tán giữa nhiều nhà cung cấp và hình thức thực thi. Inference Hero hướng đến việc giúp so sánh và định tuyến các lựa chọn dễ dàng hơn mà không buộc người dùng tích hợp riêng với từng nhà cung cấp.

Tôi có phải chạy tác vụ ngay lập tức không?

Không. Thiết kế hỗ trợ cả thực thi khẩn cấp lẫn có kế hoạch. Thời hạn linh hoạt có thể mở ra thêm lựa chọn năng lực hoặc điều kiện kinh tế tốt hơn.

Cạnh tranh giữa các nhà cung cấp nghĩa là gì?

Thay vì mặc định một nhà cung cấp luôn chạy tác vụ, Inference Hero được thiết kế để đánh giá nhiều tuyến xử lý đủ điều kiện. Tuyến được chọn có thể phụ thuộc vào yêu cầu tác vụ, giá, hiệu năng đo được, khả năng cung cấp, vị trí, chính sách và giới hạn thực thi.

Inference Hero chỉ hỗ trợ mô hình mở phải không?

Không. Mục tiêu là hỗ trợ các tuyến phù hợp trong hệ sinh thái mô hình mở và đóng, khi việc tích hợp, giấy phép và điều khoản thương mại cho phép.

Tôi có bị giới hạn ở một API không?

Không. Thiết kế hướng tới việc cung cấp API và kênh phù hợp cho từng tác vụ, theo mô hình, nhà cung cấp và quy tắc định tuyến do bạn đặt ra. Giao diện và mức tương thích thực tế tùy thuộc vào những gì có sẵn khi ra mắt.

Có hỗ trợ ứng dụng khách tương thích OpenAI không?

Tương thích với các quy ước API phổ biến, bao gồm giao diện kiểu OpenAI, là một hướng phát triển của sản phẩm. Mức tương thích chính xác tùy thuộc vào endpoint và khả năng của mô hình khi ra mắt.

Giá cả và hiệu năng sẽ được so sánh thế nào?

Nền tảng dự kiến sử dụng giá được chuẩn hóa cùng dữ liệu thực thi đo được và dữ liệu lịch sử, như độ trễ, thông lượng và khả năng cung cấp. Tiêu chí và trọng số định tuyến có thể thay đổi theo tác vụ và chính sách của người dùng.

Tác vụ theo kế hoạch có thể rẻ hơn tác vụ chạy ngay không?

Có thể. Thời hạn linh hoạt cho phép cân nhắc nhiều tuyến và năng lực hơn so với yêu cầu phải chạy lập tức. Không có gì bảo đảm tiết kiệm; kết quả phụ thuộc thị trường thực tế và nhà cung cấp đáp ứng điều kiện.

Inference Hero có sở hữu mô hình hoặc tài nguyên tính toán không?

Không nhất thiết. Kiến trúc được thiết kế để làm việc với nguồn năng lực đa dạng, bao gồm nhà cung cấp bên thứ ba và hạ tầng vận hành trong hệ sinh thái Inference Hero.

Nền tảng hiện đã sử dụng được chưa?

Inference Hero hiện đang ở giai đoạn alpha riêng tư. Bạn có thể yêu cầu email thông báo khi dịch vụ ra mắt trên trang chủ. Yêu cầu này không cấp quyền truy cập sớm.

Tôi có thể đề xuất mô hình, nhà cung cấp hoặc tính năng thế nào?

Trong giai đoạn alpha riêng tư, hãy sử dụng trang Liên hệ. Chúng tôi dự định bổ sung cơ chế phản hồi sản phẩm và đề xuất tính năng có cấu trúc hơn khi cộng đồng phát triển.