Io.netのベンチマークでRTX 4090クラスタのコストパフォーマンス「スイートスポット」が明らかに

査読付き論文が第6回国際人工知能・ブロックチェーン会議（(AIBC 2025)）で採択され、NvidiaのRTX 4090に代表されるアイドル状態のコンシューマーGPUが、従来のデータセンターハードウェアと併用することで、大規模言語モデルの推論運用コストを大幅に削減できると主張しています。

「アイドル状態のコンシューマーGPUをLLM推論のエンタープライズハードウェアの補完として活用」と題されたio.netのこの研究は、プロジェクトの分散型クラウド上で異種GPUクラスタのオープンベンチマークを初めて公開したものです。分析では、コンシューマーカードのクラスタとデータセンターグレードのH100アクセラレータを比較し、組織の推論フリート設計を再構築しうる明確なコストパフォーマンスのトレードオフが明らかになりました。

論文によると、RTX 4090 GPUで構成されたクラスタはH100の62～78％のスループットを提供しつつ、コストはおよそ半分に抑えられるとのことです。バッチワークロードやレイテンシ許容型アプリケーションでは、トークン単価が最大75％下がります。研究者らは、これらの節約は、開発者が高いテールレイテンシを許容できる場合や、開発・バッチ処理・埋め込み生成・大規模評価スイープなどのオーバーフローおよびバックグラウンドタスクにコンシューマーハードウェアを活用できる場合に特に魅力的であると強調しています。

IOG FoundationのHead of Researchであり本研究の筆頭著者であるAline Almeida氏は次のように述べています。「本研究の成果は、エンタープライズとコンシューマーGPUを横断するハイブリッドルーティングが、パフォーマンス・コスト・持続可能性の実用的なバランスを提供することを示しています。二者択一ではなく、異種インフラストラクチャにより、組織は特有のレイテンシや予算要件に最適化しつつ、カーボンインパクトを削減できます。」

ハイブリッドGPUフリート

論文はH100の強みについても隠しません。Nvidiaのデータセンター向けカードは高負荷時でもサブ55ミリ秒のP99初回トークン生成時間を維持し、これがリアルタイムかつレイテンシ敏感なプロダクションチャットボットやインタラクティブエージェント等には不可欠となっています。一方、コンシューマーGPUクラスタは、より長いテールレイテンシが許容可能なトラフィックに適しており、著者らは多くの研究や開発/テストワークロードで現実的なP99ウィンドウが200～500msであると指摘しています。

エネルギー効率と持続可能性も計算に含まれます。H100はトークンあたりで約3.1倍のエネルギー効率を誇りますが、研究ではアイドル状態のコンシューマーGPUを活用することで、ハードウェア寿命の延長や再生可能エネルギー比率の高いグリッド活用により、計算のカーボンフットプリントを低減できると示唆しています。要するに、混合フリートを戦略的に導入すれば、より安価かつ環境負荷の少ない運用が実現可能です。

io.net CEOのGaurav Sharma氏は次のように述べています。「この査読済み分析は、io.netの中核的な主張――計算リソースの未来は分散型・異種混合・アクセシブルである――を裏付けています。データセンターグレードとコンシューマーハードウェアの両方を活用することで、先進的AIインフラへのアクセスを民主化し、より持続可能なものにできます。」

論文の実践的ガイダンスは、まさにMLOpsチームやAI開発者を対象としています。著者らは、リアルタイム・低レイテンシルーティングにはエンタープライズGPUを、開発・実験・バルクワークロードにはコンシューマークラスタを使うことを推奨しています。4枚構成のRTX 4090では、100万トークンあたり$0.111～$0.149と、H100の性能のかなりの部分を担保しつつ、最適なコストパフォーマンスが得られると報告しています。

ベンチマークだけでなく、本研究はio.netのミッション――分散GPUをつなぎ合わせ、プログラム可能かつオンデマンドな計算プールを拡大する――を後押しするものです。同社は、io.cloudのプログラム可能インフラとio.intelligenceのAPIツールキットを組み合わせた自社スタックを、トレーニング・エージェント実行・大規模推論を資本集約的なデータセンターハードウェア購入なしで実現したいスタートアップ向けのフルソリューションとして位置付けています。

完全なベンチマークと手法はio.netのGitHubリポジトリで公開されており、数値を詳しく調査したり実験を再現したい場合は参照できます。本研究は、今後数年にわたりLLMデプロイメントを手頃かつ持続可能にスケールする手法を巡る議論に、重要かつ実証的な見解を加えています。