Inference Hero

Questions fréquentes

Qu'est-ce qu'Inference Hero ?

Inference Hero est en cours de développement comme couche de routage orientée marché pour l'inférence IA. L'objectif est de comparer des fournisseurs, modèles et capacités de calcul adaptés en tenant compte du prix, des performances, de la disponibilité, des délais et des contraintes de chaque tâche.

Quel problème le service cherche-t-il à résoudre ?

Les tarifs et capacités d'inférence sont répartis entre de nombreux fournisseurs et modes d'exécution. Inference Hero vise à faciliter la comparaison et l'acheminement entre ces alternatives sans obliger à créer une intégration distincte pour chaque fournisseur.

Dois-je exécuter une tâche immédiatement ?

Non. La conception prévoit aussi bien l'exécution urgente que l'exécution planifiée. Un délai flexible peut ouvrir l'accès à davantage de capacités ou à des conditions économiques plus intéressantes.

Que signifie la mise en concurrence des fournisseurs ?

Plutôt que de supposer qu'un fournisseur donné doit toujours exécuter une tâche, Inference Hero vise à évaluer plusieurs voies admissibles. Le choix peut dépendre des exigences de la tâche, du prix, des performances mesurées, de la disponibilité, de l'emplacement, des règles et des contraintes d'exécution.

Inference Hero fonctionne-t-il uniquement avec les modèles ouverts ?

Non. Notre objectif est de prendre en charge des voies adaptées dans les écosystèmes de modèles ouverts et propriétaires, lorsque les intégrations, licences et conditions commerciales le permettent.

Serai-je limité à une seule API ?

Non. Nous prévoyons de proposer les API et canaux adaptés à chaque tâche, selon le modèle, le fournisseur et les règles de routage que vous définissez. Les interfaces réellement proposées et leur compatibilité dépendront des fonctionnalités disponibles au lancement.

Les clients compatibles avec OpenAI seront-ils pris en charge ?

La compatibilité avec les conventions d'API répandues, notamment les interfaces de type OpenAI, fait partie des orientations du produit. Le niveau exact de compatibilité dépendra des points de terminaison et des capacités des modèles disponibles au lancement.

Comment comparerez-vous les prix et les performances ?

La plateforme devrait utiliser une tarification normalisée ainsi que des mesures d'exécution actuelles et historiques, par exemple la latence, le débit et la disponibilité. Les critères et pondérations pourront varier selon la tâche et les règles de l'utilisateur.

Une tâche planifiée peut-elle coûter moins cher qu'une tâche immédiate ?

C'est possible. Une échéance flexible peut ouvrir davantage de possibilités de routage et de capacité qu'une demande devant être traitée immédiatement. Les économies ne sont pas garanties : elles dépendent des conditions réelles du marché et des fournisseurs admissibles.

Inference Hero possède-t-il les modèles ou les ressources de calcul ?

Pas nécessairement. L'architecture est conçue pour utiliser des ressources hétérogènes, notamment celles de fournisseurs tiers et des infrastructures exploitées au sein de l'écosystème Inference Hero.

La plateforme est-elle déjà disponible ?

Inference Hero est actuellement en alpha privée. Vous pouvez demander à recevoir un e-mail lors du lancement depuis la page d'accueil. Cette demande ne donne pas accès au service de manière anticipée.

Comment demander un modèle, un fournisseur ou une fonctionnalité ?

Pendant l'alpha privée, utilisez la page Contact. Nous prévoyons d'ajouter des dispositifs plus structurés pour les retours produit et les demandes de fonctionnalités à mesure que la communauté se développe.