Inference Hero

Häufige Fragen

Was ist Inference Hero?

Inference Hero wird als marktorientierte Routing-Schicht für KI-Inferenz entwickelt. Ziel ist es, geeignete Anbieter, Modelle und Rechenkapazitäten unter Berücksichtigung von Preis, Leistung, Verfügbarkeit, Fristen und Workload-Anforderungen zu vergleichen.

Welches Problem soll es lösen?

Preise und Kapazitäten für Inferenz sind auf verschiedene Anbieter und Ausführungsmodelle verteilt. Inference Hero soll diese Alternativen leichter vergleichbar und nutzbar machen, ohne dass für jeden Anbieter eine separate Integration entwickelt werden muss.

Muss ich eine Workload sofort ausführen?

Nein. Das Konzept unterstützt sowohl dringende als auch geplante Ausführungen. Ein flexibler Fertigstellungstermin kann zusätzliche Kapazitätsoptionen oder wirtschaftlich günstigere Angebote ermöglichen.

Was bedeutet Wettbewerb zwischen Anbietern?

Anstatt einen Anbieter immer als feste Wahl anzunehmen, soll Inference Hero mehrere geeignete Ausführungswege bewerten. Entscheidend können Anforderungen, Preis, gemessene Leistung, Verfügbarkeit, Standort, Richtlinien und Ausführungsbedingungen sein.

Funktioniert Inference Hero nur mit offenen Modellen?

Nein. Wir möchten geeignete Optionen aus offenen wie geschlossenen Modellökosystemen unterstützen, sofern Integrationen, Lizenzen und Geschäftsbedingungen dies erlauben.

Bin ich auf eine einzige API beschränkt?

Nein. Geplant sind die jeweils passenden APIs und Kanäle für eine Workload, mit den von Ihnen definierten Modell-, Anbieter- und Routingvorgaben. Die tatsächlich verfügbaren Schnittstellen und ihre Kompatibilität hängen vom Stand zum Start ab.

Werden OpenAI-kompatible Clients unterstützt?

Die Kompatibilität mit verbreiteten API-Konventionen, einschließlich OpenAI-ähnlicher Schnittstellen, ist Teil der Produktstrategie. Der genaue Umfang hängt von den zum Start verfügbaren Endpunkten und Modellfunktionen ab.

Wie werden Preis und Leistung verglichen?

Die Plattform soll normalisierte Preise mit gemessenen und historischen Ausführungsdaten wie Latenz, Durchsatz und Verfügbarkeit kombinieren. Die konkreten Kriterien und Gewichtungen können je nach Workload und Nutzerrichtlinie variieren.

Können geplante Aufträge günstiger sein als sofortige?

Möglicherweise. Eine flexible Frist kann mehr Routing- und Kapazitätsoptionen eröffnen als eine Anfrage, die sofort ausgeführt werden muss. Einsparungen sind nicht garantiert und hängen von realen Marktbedingungen und geeigneten Anbietern ab.

Besitzt Inference Hero die Modelle oder die Rechenhardware?

Nicht unbedingt. Die Architektur ist für heterogene Kapazitäten ausgelegt, darunter Drittanbieter und innerhalb des Inference-Hero-Ökosystems betriebene Infrastruktur.

Ist die Plattform schon verfügbar?

Inference Hero befindet sich derzeit in einer privaten Alpha-Phase. Über die Startseite können Sie eine E-Mail-Benachrichtigung zum offiziellen Start anfordern. Dies gewährt keinen vorzeitigen Zugang.

Wie kann ich ein Modell, einen Anbieter oder eine Funktion anfragen?

Nutzen Sie während der privaten Alpha-Phase die Kontaktseite. Mit dem Wachstum der Community möchten wir strukturiertere Verfahren für Produktfeedback und Funktionswünsche hinzufügen.