Connaître l’espèce d’une fleur, la race d’un animal, les informations du monument en face vous ou bien interagir avec le texte d’une pancarte sans l’enregistrer dans votre photothèque, ça serait pratique, non ? C’est exactement ce que fait Intelligence visuelle avec iOS 18.4. De la description de ce que vous voyez encore plus utile si vous êtes une personne malvoyante. Avant de vous parler de son fonctionnement, je vous explique d’abord ce qu’est Intelligence visuelle ainsi que les iPhone compatibles.
Intelligence visuelle vs Recherche visuelle
Si vous connaissez la Recherche visuelle, alors vous comprendrez surement encore plus vite ce qu’est l’Intelligence visuelle ou Visual Intelligence. Mais pas de panique, je vais tout expliquer. Bien que similaires, elles ont une différence fondamentale.
La Recherche visuelle permet d’en savoir plus sur une photo indexée dans la photothèque. Ainsi, une fois le sujet identifié, mais pas choisi, l’iPhone vous permet :
- d’identifier des éléments (monuments, races d’animaux, types de plantes, etc.) ;
- de vous donner des informations sur cette identification (origine, année de construction, localisation, horaire d’ouverture, etc.) ;
- de faire une recherche d’images similaires.
Texte en direct (encore plus ancien) permet de reconnaître du texte sur une photo ou une vidéo, même si c’est une écriture manuelle. Ainsi, vous pouvez interagir avec du texte pour :
- appeler le numéro de téléphone ;
- vous rendre sur le site web ;
- traduire le texte ;
- le copier ;
- l’écouter ;
- etc.
La Recherche visuelle et Texte en direct ont besoin que la photo ou la vie soit enregistrée dans votre photothèque ou vidéothèque. Il est important que l’application Photos puisse l’indexer afin de l’analyser. Ce qui peut très vite encombrer votre photothèque d’éléments inutile, provisoire que vous risquez d’oublier de supprimer.
🤫 En tout cas, moi, je sais que je ne pense pas à les supprimer 😅.
L’Intelligence visuelle va faire la même chose que Recherche visuelle et Texte en direct, mais sans passer par l’application Photos, sans avoir besoin d’enregistrer. Vous pouvez analyser ce que contient votre écran via une capture d’écran, mais également de scanner votre environnement avec la caméra. Dans les deux cas, inutile d’enregistrer l’image. Intelligence visuelle utilise Apple Intelligence également pour décrire l’image (texte et audio) et pour choisir le sujet à analyser ou à identifier.
ℹ️ Intelligence visuelle ne remplace pas Recherche visuelle et Texte en direct qui restent toujours utilisables depuis l’application Photos.
Ainsi, vous pouvez très bien pointer un menu de restaurant dans une langue étrangère sans le prendre en photo, tout en le traduisant.
🧠 Pour faire court, l’Intelligence visuelle regroupe la Recherche visuelle et le Texte en direct, en (un peu) mieux et sans enregistrer de photos dans la photothèque de votre iPhone.
Compatibilité
Seul l’iPhone est compatible avec Intelligence visuelle qui est arrivée en même temps qu’Apple Intelligence. Ainsi, votre iPhone doit :
- être au minimum sous iOS 18.4 pour la France et l’Europe (iOS 18.1 aux États-Unis) ;
- avoir activé Apple Intelligence ;
- un iPhone 15 Pro, iPhone 16, iPhone 16 ou plus récents.
ℹ️ Même si votre iPad et votre Mac sont compatibles avec Apple Intelligence, seul l’iPhone dispose d’Intelligence visuelle.
Utiliser la Recherche visuelle
Appeler, accéder à la Recherche visuelle
La Recherche visuelle peut être appelée de plusieurs façons différentes selon votre configuration :
- un appui long sur le bouton de Commande de l’appareil photo ;
- un appui simple sur le bouton Action ;
- AssistiveTouch ;
- le centre de contrôle ;
- un raccourci vocal.
Ces méthodes vous permettent de viser un élément de votre environnement avec la caméra arrière de votre iPhone.
Si l’élément en question s’affiche sur l’écran de votre iPhone, utilisez l’aperçu d’une capture d’écran, lorsque vous appuyez sur la vignette pour l’avoir en plein écran et y faire des annotations ou la partager. Dans ce cas, vous devrez avoir iOS 26.
Obtenir des informations sur son environnement ou sur ce qui est affiché à l’écran
Vous avez un exemple en tête ? Votre chien, votre chat, un menu ou encore un tee-shirt que vous voulez savoir où l’acheter ? Parfait ! On peut passer aux choses (vraiment) intéressantes :
- appelez la Recherche visuelle ;
- si c’est avec la caméra, pointez l’élément ;
ℹ️ Selon le sujet, l’iPhone le détectera immédiatement. Ici, il m’indique immédiatement que Mizu est un chien de type Golden Retriever, sans action supplémentaire.
- si c’est avec la caméra, appuyez sur l’obturateur (le rond blanc au milieu) pour figer l’image et ainsi ne plus être obligé de pointer l’objectif ;
ℹ️ Cela n’enregistre pas la photo dans l’application Photos, c’est du temporaire. La croix permet de pouvoir viser un nouvel élément.
- appuyez sur l’identification faite, si elle a eu lieu pour en savoir plus ;
- touchez Interroger, en bas à gauche, pour obtenir une description de l’image complète via ChatGPT si vous l’avez autorisé ;
ℹ️ La réponse de ChatGPT n’est pas forcément instantanée, patientez un petit peu pour avoir sa réponse.
- touchez Rechercher, en bas à droite pour effectuer une recherche Google Images afin de retrouver d’autres images semblables.
ℹ️ La recherche se fait forcément sur Google Images, même si Google n’est pas votre moteur de recherche par défaut.
Par défaut, l’analyse prendra l’image entière. Pour se concentrer seulement sur une partie de l’image, prenez votre doigt et entourez l’élément qui vous intéresse.
Dans cet autre exemple, la recherche d’images va chercher des boitiers PC les plus ressemblants. Si j’entoure la peluche au-dessus, la recherche d’images se concentre sur les peluches Évoli avec le manteau de Mentali. Assez pratique pour comparer ou acheter.
Un outil d’accessibilité ?
Officiellement, Intelligence visuelle n’est pas catégorisée dans des outils d’accessibilité. Pour autant, en fonctionnant avec d’autres fonctionnalités d’accessibilité, comme le zoom ou VoiceOver, c’est un véritable atout si vous êtes une personne malvoyante.
Pointer avec la caméra son environnement, un menu, un établissement, des indications au format papier, etc., et y voir son iPhone qui décrit tout ceci peut grandement aider.
Alors, je n’ai pas testé sur énormément de choses, je ne l’utilise pas au quotidien. Cela peut effectivement être utile, mais dès que je dois pointer avec l’iPhone, je galère un peu (je l’utilise beaucoup à plat 😅). Ce sera à vous de me dire à quel point c’est utile pour vous.
Dans un sens, votre iPhone peut devenir un peu vos yeux avec Intelligence visuelle. Sans compter que, on le sait, malheureusement, beaucoup de sites ne sont pas accessibles et certaines images manquent encore de descriptions (il manque des alt). En faisant une capture d’écran de ce qu’il y a sur l’écran de votre iPhone, de l’image en question, intelligence visuelle va pouvoir vous décrire l’image. Ce ne sera peut-être pas aussi bien qu’un alt fait par l’auteur de l’article, quoi que ça dépend des fois, mais vous ne resterez pas complètement dans le flou.
ℹ️ Je suis loin d’être une pro de l’accessibilité ! Si vous avez un retour à me faire sur l’accessibilité du site, n’hésitez pas à me le dire en commentaire ou à me contacter.
Après, je viens de mettre en avant l’accessibilité, mais je pense que même sans souci de vue, vous pouvez y voir les avantages que cela peut avoir avec les quelques exemples que j’ai déjà fournis : retrouver le même tee-shirt, se rendre directement sur un site web, appeler le numéro, traduire un menu, reconnaître la race du chien que vous venez de croiser, en savoir plus sur un édifice que vous visitez, etc.
Oui, comme avec Recherche visuelle et Texte en direct, mais sans polluer l’application Photos.
[Vidéo] Intelligence visuelle : analyser et décrire l’environnement avec Apple Intelligence sur iPhone
👏 Et une étape de plus pour profiter du meilleur de votre iPhone et d’Apple Intelligence ! Dans quels cas utilisez-vous l’Intelligence visuelle ?
