Inference Hero
Preguntas frecuentes
¿Qué es Inference Hero?
Inference Hero se está construyendo como una capa de routing orientada al mercado para inferencia de IA. El objetivo es comparar proveedores, modelos y capacidad de cómputo adecuados teniendo en cuenta precio, rendimiento, disponibilidad, plazo y restricciones de la carga.
¿Qué problema intenta resolver?
Los precios y la capacidad de inferencia están fragmentados entre proveedores y modalidades de ejecución. Inference Hero pretende facilitar la comparación y el routing entre esas alternativas sin obligar al usuario a diseñar una integración distinta para cada proveedor.
¿Tengo que ejecutar una carga inmediatamente?
No. El diseño contempla tanto ejecución urgente como ejecución planificada. Un plazo puede aportar flexibilidad de programación y permitir acceder a capacidad adicional o a una mejor economía.
¿Qué significa competencia entre proveedores?
En lugar de asumir que un único proveedor debe ejecutar siempre una carga, Inference Hero está diseñado para evaluar múltiples rutas elegibles. La ruta puede depender de los requisitos de la carga, precio, rendimiento medido, disponibilidad, ubicación, políticas y restricciones de ejecución.
¿Inference Hero funciona únicamente con modelos abiertos?
No. El objetivo es admitir rutas adecuadas entre ecosistemas de modelos abiertos y cerrados cuando las integraciones, licencias y condiciones comerciales lo permitan.
¿Estaré limitado a una sola API?
No. El diseño busca ofrecer las APIs y canales adecuados para cada carga, con los modelos, proveedores y políticas de enrutamiento que definas. Las interfaces y compatibilidades concretas dependerán de lo disponible en el lanzamiento.
¿Será compatible con clientes tipo OpenAI?
La compatibilidad con convenciones de API ampliamente utilizadas, incluidas interfaces al estilo OpenAI, forma parte de la dirección del producto. La compatibilidad exacta dependerá de los endpoints y capacidades de los modelos disponibles en el lanzamiento.
¿Cómo se compararán precio y rendimiento?
La plataforma pretende utilizar precios normalizados junto con datos medidos e históricos de ejecución como latencia, throughput y disponibilidad. Los criterios y pesos exactos de routing podrán variar según la carga y la política del usuario.
¿Las cargas planificadas pueden ser más baratas que las inmediatas?
Potencialmente. Una carga con un plazo flexible puede disponer de más opciones de routing y capacidad que una solicitud que deba ejecutarse inmediatamente. El ahorro no está garantizado y dependerá de las condiciones reales del mercado y de los proveedores elegibles.
¿Inference Hero será propietario de los modelos o del cómputo?
No necesariamente. La arquitectura está diseñada para trabajar con oferta heterogénea, incluidos proveedores de terceros e infraestructura operada dentro del ecosistema de Inference Hero.
¿La plataforma ya está disponible?
Inference Hero se encuentra actualmente en alfa privada. Puedes solicitar una notificación por correo cuando se lance el servicio desde la página principal. Esto no concede acceso anticipado.
¿Cómo puedo solicitar un modelo, proveedor o función?
Durante la fase de alfa privada, utiliza la página de Contacto. Está previsto añadir mecanismos más estructurados de feedback de producto y descubrimiento de funciones a medida que crezca la comunidad.