Inference Hero
よくある質問
Inference Heroとは何ですか？
Inference Heroは、AI推論のための市場志向のルーティング基盤として開発中です。価格、性能、利用可能性、期限、ワークロードの制約を考慮し、適切なプロバイダー、モデル、計算リソースを比較することを目指しています。
どのような課題を解決しようとしていますか？
推論の料金と処理能力は、プロバイダーや実行方式ごとに分散しています。Inference Heroは、各社ごとに個別の連携を設計しなくても、選択肢を比較して実行先を選びやすくすることを目指しています。
ワークロードはすぐに実行する必要がありますか？
いいえ。緊急の処理と計画的な処理の両方を想定しています。期限に余裕があれば、追加の処理能力やより有利なコスト条件を選べる可能性があります。
プロバイダー間の競争とはどういう意味ですか？
常に同じプロバイダーが処理することを前提とせず、要件を満たす複数の実行経路を評価するという考え方です。経路は、ワークロードの要件、価格、実測性能、利用可能性、所在地、ポリシー、実行条件によって変わります。
Inference Heroはオープンモデル専用ですか？
いいえ。連携、ライセンス、商用条件が許す範囲で、オープンモデルとクローズドモデルの両方に対応する経路を目指しています。
利用できるAPIは1つだけですか？
いいえ。各ワークロードに適したAPIやチャネルを、利用者が定めるモデル、プロバイダー、ルーティング方針に沿って提供することを目指しています。実際のインターフェースと互換性は、公開時点の機能によって決まります。
OpenAI互換のクライアントに対応しますか？
OpenAI形式のインターフェースなど広く利用されているAPI仕様との互換性は、開発方針の一部です。正確な互換性は、公開時に利用可能なエンドポイントとモデル機能によって異なります。
価格と性能はどのように比較しますか？
正規化した価格と、遅延、スループット、利用可能性などの実測・履歴データを組み合わせる予定です。ルーティング基準や重み付けは、ワークロードと利用者のポリシーによって変わる場合があります。
計画的なジョブは即時実行より安くなりますか？
可能性はあります。期限に余裕があるワークロードでは、即時処理より多くの実行先や処理能力を選べることがあります。節約は保証されず、実際の市場条件と適格なプロバイダーによって決まります。
Inference Heroはモデルや計算設備を所有しますか？
必ずしもそうではありません。サードパーティーのプロバイダーやInference Heroのエコシステム内で運用されるインフラを含む、多様な供給元で動作する設計です。
現在利用できますか？
Inference Heroは現在、非公開アルファ段階です。トップページからサービス公開時のメール通知を申し込めますが、先行利用権は付与されません。
モデル、プロバイダー、機能を要望するには？
非公開アルファ期間中はお問い合わせページをご利用ください。コミュニティの成長に合わせ、製品へのフィードバックや機能提案をより体系的に受け付ける仕組みを追加する予定です。