Je viens de tomber sur quelque chose qui me chiffonne dans les systèmes ML en production. Tout le monde se concentre sur les métriques de sortie — précision, rappel, exactitude — mais une fois qu'elles chutent, c'est déjà trop tard. Le vrai problème se pose plus tôt, au niveau de la couche d'entrée.

Il existe une approche dont j'ai lu qu'inverse complètement la donne. Au lieu de surveiller ce que le modèle produit, vous vérifiez si vos données d'entrée se comportent toujours comme lors de l'entraînement. Ça paraît simple, mais l'exécution est astucieuse.

L'idée centrale utilise les plus proches voisins pour l'estimation de densité couplée à la divergence de KL. Voici pourquoi ça fonctionne : vous établissez une ligne de base à partir de vos données d'entraînement, puis comparez en continu les données entrantes à cette référence à l'aide d'une fenêtre glissante. Quand la divergence de KL dépasse votre seuil, quelque chose a changé. Pas besoin de faire d'hypothèses sur la distribution des données, ni de regarder à l'intérieur du modèle.

Imaginez un moteur de recommandation e-commerce entraîné sur un comportement pré-pandémie. Les préférences des clients changent, les habitudes d'achat évoluent, mais la surveillance traditionnelle pourrait ne pas le détecter pendant des jours. Cette approche par plus proches voisins le repère immédiatement — vos vecteurs de caractéristiques ne correspondent plus à la distribution initiale, et vous êtes alerté avant que la performance ne se détériore réellement.

L'aspect pratique est aussi important. La taille de la fenêtre compte — trop petite, vous traquez le bruit ; trop grande, vous ratez les changements rapides. Idem pour la calibration du seuil. Une méthode solide consiste à prendre vos données d'entraînement homogènes, à les diviser en fenêtres séquentielles, calculer les divergences de KL entre chaque paire, puis utiliser le 95e ou le 99e percentile comme seuil.

Pour le choix de k, la racine carrée de la taille de l’échantillon est un bon point de départ. Un k plus élevé rend l’estimation de densité moins sensible mais plus lisse. Un k plus faible détecte mieux les irrégularités, mais risque de surajuster au bruit.

À grande échelle, cela devient gérable grâce à des stratégies d’échantillonnage, des bibliothèques d’approximation de plus proches voisins comme Annoy ou Faiss, et le traitement parallèle. Vous ne recalculerez pas tout à chaque fois — vous mettez simplement à jour les statistiques glissantes de façon incrémentielle.

Ce qui est génial avec cette approche, c’est qu’elle est indépendante du modèle. Que vous ayez un classificateur simple ou un système complexe, vous construisez essentiellement un système d’alerte précoce qui détecte le décalage des données avant que votre modèle ne s’en rende compte. C’est ce genre d’ingénierie défensive qui maintient la stabilité des systèmes en production.