Io.net Benchmark'ları, RTX 4090 Kümeleri için Maliyet-Performans “Tatlı Noktasını” Ortaya Koyuyor

6. Uluslararası Yapay Zeka ve Blockchain Konferansı (AIBC 2025)'de kabul edilen hakemli bir makale, Nvidia’nın RTX 4090 modeliyle örneklenen atıl tüketici GPU’larının, geleneksel veri merkezi donanımlarıyla birlikte kullanıldığında büyük dil modeli çıkarım maliyetlerini anlamlı ölçüde azaltabileceğini savunuyor.

Idle Consumer GPUs as a Complement to Enterprise Hardware for LLM Inference başlıklı ve io.net tarafından gerçekleştirilen bu çalışma, projenin merkeziyetsiz bulutunda heterojen GPU kümelerinin açık kıyaslamalarını yayımlayan ilk araştırma olma özelliğini taşıyor. Analiz, tüketici kartlarından oluşan kümeleri veri merkezi sınıfı H100 hızlandırıcılarla karşılaştırıyor ve kurumların çıkarım filolarını tasarlama biçimini değiştirebilecek belirgin bir maliyet-performans dengesi ortaya koyuyor.

Makaledeki bulgulara göre, RTX 4090 GPU’larından oluşturulan kümeler, H100’lerin veriminin %62 ila %78’ini sağlayabiliyor ve bunu yaklaşık yarı maliyetle gerçekleştiriyor. Toplu iş yüklerinde veya gecikmeye toleranslı uygulamalarda token maliyetleri %75’e kadar düşüyor. Araştırmacılar, bu tasarrufların, geliştiricilerin daha yüksek kuyruk gecikmelerine tolerans gösterebildiği ya da tüketici donanımını taşma ve arka plan görevleri (geliştirme, toplu işleme, gömme oluşturma ve büyük ölçekli değerlendirme taramaları gibi) için kullanabildiği durumlarda en etkileyici olduğunu vurguluyor.

IOG Foundation Araştırma Başkanı ve çalışmanın başyazarı Aline Almeida şunları söyledi: “Bulgularımız, kurumsal ve tüketici GPU’ları arasında hibrit yönlendirmenin performans, maliyet ve sürdürülebilirlik arasında pragmatik bir denge sağladığını gösteriyor. İkili bir tercih yerine, heterojen altyapı kurumların kendi özel gecikme ve bütçe gereksinimlerine göre optimize etmelerine ve karbon etkisini azaltmalarına olanak tanıyor.”

Hibrit GPU Filoları

Makale, H100’lerin güçlü yanlarından da kaçınmıyor: Nvidia’nın veri merkezi kartları, yüksek yükte bile 55 milisaniyenin altında P99 ilk-token süresiyle performansı sürdürebiliyor; bu sınır, onları üretim sohbet botları ve etkileşimli ajanlar gibi gerçek zamanlı, düşük gecikmeli uygulamalar için vazgeçilmez kılıyor. Buna karşılık, tüketici GPU kümeleri daha uzun kuyruk gecikmelerine tolerans gösterebilen trafik için daha uygun; yazarlar, birçok araştırma ve geliştirme/test iş yükü için 200–500 ms P99 aralığının gerçekçi olduğunu belirtiyor.

Enerji ve sürdürülebilirlik de denklemin bir parçası. H100’ler token başına yaklaşık 3,1 kat daha enerji verimli olsa da, çalışma atıl tüketici GPU’larının kullanılmasıyla donanım ömrünün uzatılabileceğini ve yenilenebilir enerjiyle zengin şebekelerin kullanılabileceğini ortaya koyuyor; bu da hesaplamanın gömülü karbon ayak izini azaltabiliyor. Kısacası, stratejik şekilde dağıtıldığında karma bir filo hem daha ucuz hem de daha çevreci olabilir.

io.net CEO’su Gaurav Sharma, “Bu hakemli analiz, io.net’in temel tezini doğruluyor: Hesaplamanın geleceği dağıtık, heterojen ve erişilebilir olacak. Hem veri merkezi hem de tüketici donanımından yararlanarak, gelişmiş yapay zeka altyapısına erişimi demokratikleştirirken aynı zamanda daha sürdürülebilir hale getirebiliriz,” dedi.

Makaleden çıkan pratik öneriler doğrudan MLOps ekipleri ve yapay zeka geliştiricilerini hedefliyor. Yazarlar, gerçek zamanlı, düşük gecikmeli yönlendirmeler için kurumsal GPU’ların; geliştirme, deney ve toplu iş yüklerinin ise tüketici kümelerine yönlendirilmesini öneriyor. Dört kartlık RTX 4090 konfigürasyonlarının, milyon token başına $0.111 ila $0.149 arasında en iyi maliyet-performans oranını sunduğu ve H100 performansının önemli bir kısmını sağladığı belirtiliyor.

Kıyaslamaların ötesinde, araştırma io.net’in vizyonunu da güçlendiriyor: Dağıtık GPU’ları bir araya getirerek programlanabilir, isteğe bağlı bir havuz oluşturmak ve hesaplama kapasitesini genişletmek. Şirket, io.cloud’un programlanabilir altyapısı ile io.intelligence’ın API araç setini birleştirerek, yalnızca veri merkezi donanımı satın almanın sermaye yoğunluğuna ihtiyaç duymadan eğitim, ajan yürütme ve büyük ölçekli çıkarım gereksinimi olan girişimler için tam bir çözüm sunduğunu iddia ediyor.

Tüm kıyaslamalar ve metodoloji, rakamları incelemek ve deneyleri tekrar etmek isteyenler için io.net’in GitHub deposunda mevcut. Çalışma, önümüzdeki yıllarda LLM dağıtımlarını uygun maliyetli ve sürdürülebilir şekilde ölçeklendirmenin yolları konusundaki tartışmaya önemli ve ampirik temelli bir katkı sağlıyor.