Apakah menyimpan setiap pasangan KV bermakna? Terutama ketika model sebenarnya hanya akan melakukan query pada sebagian kecil dari mereka.

Gagasan KVzap sangat langsung—melalui pembelajaran untuk menentukan cache mana yang tidak akan digunakan dalam query selanjutnya, lalu secara aktif menghapusnya. Hasilnya adalah dapat mengompresi volume cache menjadi 1/2 hingga 1/4 dari ukuran aslinya, sekaligus hampir tidak mempengaruhi kinerja.

Metode pruning cache KV yang cerdas dan bergantung secara dinamis ini memiliki arti praktis dalam meningkatkan efisiensi inferensi model dan menurunkan biaya penyimpanan. Terutama dalam skenario deployment skala besar, ruang optimisasi seperti ini masih cukup signifikan.