Inference Hero
Perguntas frequentes
O que é o Inference Hero?
O Inference Hero está a ser desenvolvido como uma camada de encaminhamento de inferência de IA orientada para o mercado. O objetivo é comparar fornecedores, modelos e capacidade de computação adequados tendo em conta preço, desempenho, disponibilidade, prazo e restrições de cada tarefa.
Que problema pretende resolver?
Os preços e a capacidade de inferência estão fragmentados entre fornecedores e modelos de execução. O Inference Hero pretende facilitar a comparação e o encaminhamento dessas alternativas sem exigir uma integração separada para cada fornecedor.
Tenho de executar uma tarefa imediatamente?
Não. O projeto prevê execução urgente e execução planeada. Um prazo flexível pode permitir o acesso a mais capacidade ou condições económicas mais favoráveis.
O que significa concorrência entre fornecedores?
Em vez de assumir que um fornecedor deve executar sempre uma tarefa, o Inference Hero foi concebido para avaliar várias opções elegíveis. A escolha pode depender dos requisitos, preço, desempenho medido, disponibilidade, localização, políticas e restrições de execução.
O Inference Hero funciona apenas com modelos abertos?
Não. Pretendemos suportar opções adequadas nos ecossistemas de modelos abertos e fechados sempre que as integrações, licenças e condições comerciais o permitam.
Fico limitado a uma única API?
Não. A arquitetura pretende disponibilizar as APIs e os canais apropriados a cada tarefa, segundo as políticas de modelo, fornecedor e encaminhamento que definir. As interfaces e a compatibilidade reais dependerão do que estiver disponível no lançamento.
Serão suportados clientes compatíveis com OpenAI?
A compatibilidade com convenções de API amplamente utilizadas, incluindo interfaces do tipo OpenAI, faz parte da direção do produto. O grau de compatibilidade dependerá dos endpoints e capacidades dos modelos disponíveis no lançamento.
Como serão comparados os preços e o desempenho?
A plataforma deverá utilizar preços normalizados, juntamente com dados de execução medidos e históricos, como latência, débito e disponibilidade. Os critérios e os respetivos pesos poderão variar conforme a tarefa e as políticas do utilizador.
Os trabalhos planeados podem ser mais baratos do que os imediatos?
Possivelmente. Um prazo flexível pode abrir mais opções de encaminhamento e capacidade do que um pedido que tenha de ser executado de imediato. Não há garantia de poupança: depende das condições reais do mercado e dos fornecedores elegíveis.
O Inference Hero será proprietário dos modelos ou recursos de computação?
Não necessariamente. A arquitetura foi concebida para funcionar com recursos heterogéneos, incluindo fornecedores externos e infraestrutura operada no ecossistema Inference Hero.
A plataforma já está disponível?
O Inference Hero está atualmente em alfa privada. Pode solicitar na página inicial um aviso por email quando o serviço for lançado. Este pedido não concede acesso antecipado.
Como posso pedir um modelo, fornecedor ou funcionalidade?
Durante a alfa privada, utilize a página Contacto. Prevemos adicionar mecanismos mais estruturados para sugestões e pedidos de funcionalidades à medida que a comunidade crescer.