Apple sélectionne automatiquement les photos de ses clients pour identifier des lieux sans leur consentement

Apple aurait déployé et activé automatiquement Enhanced Visual Search, une fonctionnalité qui peut identifier des repères et des lieux d'intérêt sur les appareils des clients sans leur consentement.

Selon un article de The Register, la fonctionnalité analyse les photos des clients stockées dans l'application Photos sur leurs appareils iOS et macOS.

Les utilisateurs d'Apple viennent de découvrir la fonctionnalité

La fonctionnalité a été déployée l'année dernière, mais les utilisateurs d'Apple n'étaient pas au courant du développement jusqu'à récemment. Selon The Register, le développeur de logiciels Jeff Johnson a dénoncé la fonctionnalité Enhanced Visual Search la semaine dernière et a exprimé des préoccupations concernant l'échec d'Apple à expliquer explicitement la fonctionnalité aux utilisateurs. Johnson a parlé de la fonctionnalité dans deux articles exprimant des préoccupations concernant la fonctionnalité censée avoir touché iOS 18.1 et macOS 15.1 le 28 octobre dernier.

Les utilisateurs sont également préoccupés par le déploiement de la technologie par Apple. Matthew Green, professeur agrégé de science informatique à l'Institut de sécurité informatique de l'Université Johns Hopkins aux États-Unis, a décrit cela comme frustrant.

Il a déclaré :

« C'est très frustrant d'apprendre l'existence d'un service deux jours avant le Nouvel An et de découvrir qu'il a déjà été activé sur votre téléphone. »

Selon un document de politique du 18 novembre 2024, Apple décrit la fonctionnalité comme permettant « de rechercher des photos à l'aide de repères ou de points d'intérêt. »

« Notre appareil fait correspondre en privé les lieux de vos photos à un index mondial qu'Apple maintient sur nos serveurs. Nous appliquons le chiffrement homomorphe et la confidentialité différentielle et utilisons un relais OHTTP qui masque [votre] adresse IP. » a déclaré Apple.

« Cela empêche Apple d'apprendre les informations contenues dans vos photos. Vous pouvez désactiver Enhanced Visual Search à tout moment sur votre appareil iOS ou iPadOS en allant dans Réglages > Applications > Photos. Sur Mac, ouvrez Photos et allez dans Réglages > Général, » ont-ils expliqué davantage.

Apple a expliqué la technologie dans un document technique publié le 24 octobre dernier. Cela était à peu près au même moment où la fonctionnalité Enhanced Visual Search a été introduite.

Comment fonctionne la fonctionnalité Apple

Selon The Register, Apple a commencé à faire passer les photos de ses clients à travers un algorithme d'apprentissage automatique local qui examine les détails de l'image de manière visuelle et n'utilise pas de données de localisation. Il crée ensuite une valeur associée à ce qui pourrait être un repère dans chaque photo.

Il utilise ensuite cette valeur sur un serveur distant pour vérifier un index de telles valeurs stockées dans les serveurs d'Apple, étiquetant les repères et les lieux trouvés dans la base de données d'Apple dans chaque cliché.

En d'autres termes, lorsqu'un utilisateur prend une photo, l'appareil délimite ce qu'il pense être un repère ou un lieu d'intérêt sur la photo. Il chiffre homomorphiquement une représentation de cette partie de la photo afin qu'elle puisse être examinée sans être déchiffrée. Le repère peut être identifié à partir d'une énorme base de données de lieux.

Malgré les descriptions du fonctionnement de la fonctionnalité, il y a des objections. Jeff Johnson, dans un deuxième post, a déclaré :

« Mon objection à Enhanced Visual Search d'Apple n'est pas les détails techniques spécifiquement, qui sont difficiles à évaluer pour la plupart des utilisateurs, mais plutôt le fait qu'Apple a pris le choix hors de mes mains et a activé le service en ligne par défaut. »

Selon les descriptions dans l'article de The Register, si la fonctionnalité fonctionne comme Apple le prétend, sans canaux auxiliaires ou autres fuites, Apple ne peut pas voir ce qui se trouve dans les images des utilisateurs, ni les données d'image ni l'étiquette recherchée.

Apple affirme protéger la vie privée des données des utilisateurs

En utilisant le chiffrement homomorphe et ce qu'on appelle la confidentialité différentielle, qui est un moyen de protéger la vie privée des personnes dont les données apparaissent dans l'ensemble de données, Apple affirme qu'elle empêche tout problème potentiel de confidentialité.

« Apple fait preuve de réflexion en faisant cela d'une manière (théoriquement) préservant la vie privée, mais je ne pense pas que l'entreprise soit à la hauteur de ses idéaux ici, » a observé le développeur de logiciels Michael Tsai dans une analyse partagée mercredi.

« Non seulement ce n'est pas une option d'entrée, mais vous ne pouvez pas effectivement vous désinscrire si cela commence à télécharger des métadonnées sur vos photos avant même que vous n'utilisiez la fonction de recherche. Il fait cela même si vous vous êtes déjà désinscrit du téléchargement de vos photos sur iCloud. »

– Tsai

Le développeur de logiciels a également fait valuer que l'approche d'Apple est moins privée que son plan abandonné de numérisation CSAM « car il s'applique aux photos non iCloud et télécharge des informations sur toutes les photos, pas seulement celles avec des haches neurales suspectes. »