Inference Hero

Często zadawane pytania

Czym jest Inference Hero?

Inference Hero powstaje jako warstwa routingu wnioskowania AI zorientowana na rynek. Celem jest porównywanie odpowiednich dostawców, modeli i mocy obliczeniowej z uwzględnieniem ceny, wydajności, dostępności, terminu i wymagań zadania.

Jaki problem ma rozwiązać?

Ceny i moce wnioskowania są rozproszone między dostawcami oraz modelami wykonywania zadań. Inference Hero ma ułatwić porównywanie i wybór alternatyw bez konieczności przygotowywania osobnej integracji dla każdego dostawcy.

Czy muszę wykonać zadanie natychmiast?

Nie. Projekt przewiduje zarówno wykonanie pilne, jak i planowane. Elastyczny termin może otworzyć dostęp do większych zasobów lub korzystniejszych warunków cenowych.

Co oznacza konkurencja między dostawcami?

Zamiast zakładać, że zadanie zawsze powinien obsłużyć jeden dostawca, Inference Hero ma oceniać wiele kwalifikujących się tras. Wybór może zależeć od wymagań, ceny, zmierzonej wydajności, dostępności, lokalizacji, zasad i ograniczeń wykonania.

Czy Inference Hero działa wyłącznie z modelami otwartymi?

Nie. Chcemy obsługiwać odpowiednie trasy w ekosystemach modeli otwartych i zamkniętych, jeśli pozwalają na to integracje, licencje i warunki handlowe.

Czy będę ograniczony do jednego API?

Nie. Projekt ma udostępniać API i kanały odpowiednie do zadania, zgodnie z wybranym modelem, dostawcą i zasadami routingu. Faktyczne interfejsy i zgodność będą zależały od dostępności w dniu uruchomienia.

Czy będzie wspierać klientów zgodnych z OpenAI?

Zgodność z popularnymi konwencjami API, w tym interfejsami podobnymi do OpenAI, należy do kierunków rozwoju produktu. Dokładna zgodność będzie zależała od dostępnych punktów końcowych i możliwości modeli w dniu uruchomienia.

Jak będą porównywane ceny i wydajność?

Platforma ma wykorzystywać znormalizowane ceny oraz zmierzone i historyczne dane wykonania, takie jak opóźnienia, przepustowość i dostępność. Kryteria i ich wagi mogą się różnić zależnie od zadania i polityki użytkownika.

Czy zadania planowane mogą być tańsze od natychmiastowych?

To możliwe. Elastyczny termin może dać więcej opcji routingu i zasobów niż żądanie wymagające natychmiastowej realizacji. Oszczędności nie są gwarantowane i zależą od rzeczywistej sytuacji rynkowej i kwalifikujących się dostawców.

Czy Inference Hero jest właścicielem modeli lub sprzętu?

Niekoniecznie. Architektura jest przeznaczona do pracy z heterogenicznymi zasobami, w tym od dostawców zewnętrznych i z infrastruktury działającej w ekosystemie Inference Hero.

Czy platforma jest już dostępna?

Inference Hero znajduje się obecnie w prywatnej fazie alfa. Na stronie głównej możesz poprosić o powiadomienie e-mail o uruchomieniu usługi. Nie daje to wcześniejszego dostępu.

Jak mogę poprosić o model, dostawcę lub funkcję?

W prywatnej fazie alfa skorzystaj ze strony Kontakt. W miarę rozwoju społeczności planujemy dodać bardziej uporządkowane mechanizmy zbierania opinii i propozycji funkcji.