Inference Hero

Veelgestelde vragen

Wat is Inference Hero?

Inference Hero wordt ontwikkeld als een marktgerichte routeringslaag voor AI-inferentie. Het doel is geschikte aanbieders, modellen en rekencapaciteit te vergelijken op basis van prijs, prestaties, beschikbaarheid, deadline en werklasteisen.

Welk probleem wil het oplossen?

Inferentieprijzen en capaciteit zijn versnipperd over aanbieders en uitvoeringsmodellen. Inference Hero wil het vergelijken en routeren van alternatieven eenvoudiger maken zonder voor iedere aanbieder een aparte integratie te vereisen.

Moet ik een werklast meteen uitvoeren?

Nee. Het ontwerp ondersteunt zowel urgente als geplande uitvoering. Een flexibele deadline kan extra capaciteit of gunstigere economische mogelijkheden bieden.

Wat betekent concurrentie tussen aanbieders?

In plaats van ervan uit te gaan dat één aanbieder altijd de taak uitvoert, is Inference Hero bedoeld om meerdere geschikte routes te beoordelen. De keuze kan afhangen van werklasteisen, prijs, gemeten prestaties, beschikbaarheid, locatie, beleid en uitvoeringsbeperkingen.

Werkt Inference Hero alleen met open modellen?

Nee. Het doel is passende routes in zowel open als gesloten modelecossystemen te ondersteunen, waar integraties, licenties en commerciële voorwaarden dat toestaan.

Ben ik beperkt tot één API?

Nee. Het ontwerp richt zich op API's en kanalen die passen bij de werklast, met de modellen, aanbieders en routeringsregels die je zelf definieert. De feitelijke interfaces en compatibiliteit hangen af van het aanbod bij de lancering.

Ondersteunt het OpenAI-compatibele clients?

Compatibiliteit met gangbare API-conventies, waaronder interfaces in OpenAI-stijl, hoort bij de productrichting. De exacte compatibiliteit hangt af van beschikbare eindpunten en modelmogelijkheden bij de lancering.

Hoe worden prijs en prestaties vergeleken?

Het platform moet genormaliseerde prijzen combineren met gemeten en historische uitvoeringsgegevens, zoals latency, doorvoer en beschikbaarheid. Routeringscriteria en hun weging kunnen per werklast en gebruikersbeleid verschillen.

Kunnen geplande opdrachten goedkoper zijn dan directe opdrachten?

Mogelijk. Met een flexibele deadline kunnen meer routes en capaciteitsopties beschikbaar komen dan bij een opdracht die direct moet worden uitgevoerd. Besparingen zijn niet gegarandeerd en hangen af van de werkelijke markt en geschikte aanbieders.

Zijn de modellen of rekenmiddelen eigendom van Inference Hero?

Niet noodzakelijk. De architectuur is ontworpen voor heterogene capaciteit, waaronder externe aanbieders en infrastructuur binnen het Inference Hero-ecosysteem.

Is het platform al beschikbaar?

Inference Hero bevindt zich momenteel in een besloten alfafase. Via de startpagina kun je een e-mailmelding aanvragen zodra de dienst wordt gelanceerd. Dat geeft geen vervroegde toegang.

Hoe kan ik een model, aanbieder of functie aanvragen?

Gebruik tijdens de besloten alfafase de contactpagina. Naarmate de community groeit, willen we meer gestructureerde manieren voor productfeedback en functieverzoeken toevoegen.