Nvidia mengumumkan akuisisi Groq senilai 20 miliar dolar AS dan membahas strategi pertama kali: token inferensi harus dinilai berdasarkan kualitas, kecepatan rendah dan harga satuan tinggi adalah jalur baru

Berita ME News, 16 April (UTC+8), menurut pemantauan Beating, Jensen Huang menjelaskan secara rinci untuk pertama kalinya logika strategis di balik akuisisi Nvidia terhadap Groq dalam sebuah wawancara. Pada bulan Desember tahun lalu, Nvidia mengakuisisi bisnis chip inferensi Groq seharga 20 miliar dolar AS, pendiri Groq Jonathan Ross dan tim inti bergabung dengan Nvidia, dan Groq terus beroperasi sebagai perusahaan independen. Pada bulan Maret lalu di acara GTC, Nvidia merilis chip pertama setelah penggabungan, Groq 3 LPU, yang diproduksi dengan proses 4nm dari Samsung, Nvidia menyatakan bahwa throughput inferensi per megawatt pada model dengan triliunan parameter adalah 35 kali lipat dari Blackwell NVL72. Jensen Huang mengatakan, kekuatan pendorong di balik akuisisi Groq adalah stratifikasi pasar inferensi. Sebelumnya, optimisasi inferensi hanya memiliki satu arah: meningkatkan throughput. Tetapi nilai komersial token telah meningkat secara signifikan, dan pengguna yang berbeda bersedia membayar harga berbeda untuk kecepatan respons yang berbeda. “Jika saya bisa menyediakan token dengan respons lebih cepat kepada insinyur perangkat lunak, sehingga mereka lebih efisien daripada saat ini, saya bersedia membayar untuk itu. Tapi pasar ini baru muncul belakangan ini.” Dia menggambarkan ini sebagai perluasan garis depan Pareto di pasar inferensi: di luar solusi throughput tinggi yang ada, menambahkan segmen pasar berlatensi rendah dan harga tinggi. Model yang sama, dengan diferensiasi harga berdasarkan waktu respons, “meskipun throughput lebih rendah, harga satuan dapat menutupi kekurangannya.” Arsitektur LPU Groq terkenal karena latensi rendah yang deterministik, melengkapi jalur throughput tinggi dari GPU Nvidia, dan akuisisi ini menutupi kekurangan Nvidia dalam lini produk inferensi. (Sumber: BlockBeats)