Inference Hero
Domande frequenti
Che cos'è Inference Hero?
Inference Hero è in fase di sviluppo come livello di instradamento orientato al mercato per l'inferenza IA. L'obiettivo è confrontare fornitori, modelli e capacità di calcolo idonei considerando prezzo, prestazioni, disponibilità, scadenze e vincoli del carico di lavoro.
Quale problema vuole risolvere?
Prezzi e capacità di inferenza sono frammentati tra fornitori e modalità di esecuzione. Inference Hero punta a facilitare il confronto e l'instradamento delle alternative senza richiedere un'integrazione separata per ogni fornitore.
Devo eseguire subito un carico di lavoro?
No. Il progetto prevede sia esecuzioni urgenti sia pianificate. Una scadenza flessibile può rendere disponibili più capacità o condizioni economiche migliori.
Che cosa significa mettere in concorrenza i fornitori?
Anziché presumere che un solo fornitore debba sempre eseguire una richiesta, Inference Hero è progettato per valutare più percorsi idonei. La scelta può dipendere da requisiti del carico, prezzo, prestazioni misurate, disponibilità, posizione, politiche e vincoli di esecuzione.
Inference Hero funziona solo con modelli aperti?
No. L'obiettivo è supportare percorsi adeguati sia negli ecosistemi di modelli aperti sia in quelli proprietari, quando integrazioni, licenze e condizioni commerciali lo consentono.
Sarò limitato a una sola API?
No. Il progetto mira a offrire API e canali adeguati a ciascun carico di lavoro, secondo modello, fornitore e politiche di instradamento definite dall'utente. Le interfacce e la compatibilità effettive dipenderanno da quanto disponibile al lancio.
Supporterà client compatibili con OpenAI?
La compatibilità con convenzioni API diffuse, incluse le interfacce in stile OpenAI, fa parte della direzione di sviluppo. La compatibilità esatta dipenderà dagli endpoint e dalle funzionalità dei modelli disponibili al lancio.
Come saranno confrontati prezzo e prestazioni?
La piattaforma è pensata per usare prezzi normalizzati insieme a dati di esecuzione misurati e storici, come latenza, throughput e disponibilità. Criteri e pesi potranno variare in base al carico e alle politiche dell'utente.
I lavori pianificati possono costare meno di quelli immediati?
È possibile. Una scadenza flessibile può offrire più possibilità di instradamento e capacità rispetto a una richiesta immediata. I risparmi non sono garantiti e dipendono dalle condizioni effettive del mercato e dai fornitori idonei.
Inference Hero possiederà modelli o risorse di calcolo?
Non necessariamente. L'architettura è progettata per capacità eterogenee, compresi fornitori terzi e infrastrutture gestite nell'ecosistema Inference Hero.
La piattaforma è già disponibile?
Inference Hero è attualmente in alfa privata. Puoi richiedere dalla home page un'e-mail che ti avvisi quando il servizio verrà lanciato. Questo non concede accesso anticipato.
Come posso richiedere un modello, un fornitore o una funzione?
Durante l'alfa privata, usa la pagina Contatti. Prevediamo di introdurre strumenti più strutturati per suggerimenti e richieste di funzionalità man mano che cresce la comunità.