J'ai remarqué un mouvement assez intéressant. Il semble que Moondream ait lancé un nouveau service appelé « Lens » spécialisé dans l'amélioration de la précision des modèles de langage visuel. C'est survenu la semaine dernière, le 21 avril.

Jusqu'à présent, les VLM étaient performants en laboratoire, mais leur précision chutait considérablement lorsqu'ils étaient appliqués dans des environnements réels. Lens est un service de fine-tuning conçu pour corriger cela, prenant en charge à la fois l'apprentissage par renforcement et le fine-tuning supervisé. C'est une API à facturation à l'usage, permettant de l'utiliser uniquement selon les besoins.

Ce qui est impressionnant, c'est la capacité à réaliser des améliorations significatives avec peu de données. Par exemple, en l'utilisant pour analyser des vidéos en direct de la NBA, le score F1 est passé de 28 % à 79 %. Les erreurs de détection ont également été considérablement réduites.

Il paraît que, pour des tâches comme l'identification du pays à partir d'images de Google Street View ou le traitement d'images médicales, les performances dépassent celles des modèles existants. On sent que la mise en pratique des modèles de langage visuel a franchi une étape.

PTZOptics, l'un des partenaires initiaux de Moondream, prévoit d'intégrer Lens pour améliorer la précision du suivi de cible et la détection d'anomalies. Moondream avait déjà lancé le moteur d'inférence Photon, mais Lens vient compléter cette offre, permettant de concilier vitesse et précision dans l'exploitation des VLM.

Ils résolvent les défis d'application dans le monde réel grâce à la technologie. Ce genre d'améliorations progressives contribuera sans doute à une adoption plus large des VLM.