Google lance un mode de recherche bluffant combinant texte et image

par Edouard le Ricque, le 30 septembre 2021 03:53

Google vient d’annoncer une mise à jour de Google Lens. Le mode de recherche visuelle pourra combiner recherche d’image et mots-clés pour des résultats bluffants.

Google Lens est une technologie de reconnaissance d’images développée par Google. Elle s’appuie sur l’appareil photo de votre téléphone pour traduire un texte en temps réel, identifier des plantes et des animaux, copier-coller des photos, et bien plus encore. À l’occasion de son événement Search On, Google a annoncé une future mise à niveau de Google Lens qui offrira la possibilité d’ajouter du texte à des recherches visuelles, pour que les utilisateurs puissent poser des questions sur ce qu’ils voient. Une innovation encore plus utile que le mode sombre, déployé tout récemment sur Google Search.

Google a résolu le problème des recherches d’images complexes avec des résultats pertinents en une requête

En pratique, voici comment ça fonctionne. Imaginons que vous trouvez la photo d’une chemise qui vous plaît lors de vos recherches sur Google Images. Avec Google Lens, vous pourrez alors trouver un autre vêtement avec le même type de motif, de façon à obtenir un ensemble assorti. En saisissant une phrase du type « chaussettes avec ce motif », Google trouvera désormais des résultats pertinents de façon beaucoup plus rapide et facile que si vous étiez resté sur une simple saisie de texte.

Autre exemple, vous avez cassé une pièce de votre vélo, mais vous ignorez comment elle s’appelle. Plutôt que de vous plonger dans le manuel utilisateur pour chercher son nom, il vous suffira de la pointer avec votre appareil photo et de saisir « comment la réparer ». Google vous renverra alors vers une vidéo pertinente qui vous montrera comment résoudre votre souci mécanique.

Ce type de recherche a toujours posé problème à Google jusqu’à maintenant, sans parler des autres moteurs de recherches. Les requêtes qui comptent un élément visuel difficile à décrire avec des mots, ou qui peuvent être décrites de différentes façons, sont un vrai défi pour la recherche sur Internet. En combinant image et mots en une seule requête, Google multiplie les chances d’obtenir tout de suite des résultats de recherche pertinents.

Une mise à jour de Google Lens combinant texte et image basée sur de l’intelligence artificielle

Cette mise à jour de Google Lens se base sur MUM, ou Modèle unifié multitâche (Multitask Unified Model). Il s’agit d’une technologie basée sur l’intelligence artificielle, révélée cette année lors de la conférence annuelle des développeurs I/O de Google. Elle est capable de comprendre simultanément des informations dans un large éventail de formats, notamment du texte, des images et des vidéos, et de tirer des conclusions et des liens entre des sujets, des concepts et des idées. C’est cette technologie qui va être injectée dans la mise à jour de la recherche visuelle Google Lens.

La mise à jour de Google Lens basée sur MUM sera déployée dans les prochains mois, après avoir été soumise à des « tests et évaluations rigoureux« , a indiqué Google lors de la conférence Search On. Pas sûr que ce mode de recherche extrêmement pratique plaise à ses concurrents : Bing, le moteur de recherche de Microsoft, est déjà contrarié du fait que « Google » est le principal mot qu’on y cherche.

Source : TechCrunch