Stocker chaque paire KV est-il significatif ? Surtout lorsque le modèle ne consulte en réalité qu'une très petite partie d'entre elles.

L'idée de KVzap est très simple — apprendre à déterminer quels éléments du cache ne seront pas utilisés lors des requêtes suivantes, puis les supprimer activement. Le résultat est une compression de la taille du cache à 1/2 ou 1/4 de l'original, tout en ayant presque aucun impact sur la performance.

Cette méthode de pruning de cache KV intelligente et dynamique, basée sur des dépendances, a une réelle importance pour améliorer l'efficacité de l'inférence du modèle et réduire les coûts de stockage. Surtout dans des scénarios de déploiement à grande échelle, cet espace d'optimisation reste assez considérable.