Le modèle d'IA révolutionnaire Ferret-UI améliore la compréhension des interfaces utilisateur mobiles

L' intelligence artificielle a connu un essor fulgurant avec l'introduction de Ferret-UI, un modèle de représentation du niveau de microgénicité (MLMM) de type brin similaire à fp-8. Le MLMM (terme générique pour l'apprentissage automatique multimodal) vise à s'intégrer aux interfaces utilisateur mobiles.

Comme l'explique l'article d'Apple Insider, ce projet vise principalement à optimiser l'efficacité et les performances de l'IA, en incitant les algorithmes à se rapprocher des schémas et de la structure du cerveau humain. Enfin, ces simulations pourraient également entraîner des changements majeurs dans la façon dont Siri interagit avec les téléphones mobiles à court terme.

Compréhension améliorée des interfaces utilisateur mobiles grâce à Ferret-UI

L'interface Fret-UI, composée de petites tablettes et de capteurs fixés sur des circuits imprimés flexibles, a démontré sa capacité de traitement de données optimisée en partageant les énormes quantités de données qu'elle fournit et a ajouté de nouvelles fonctionnalités telles que l'utilisation de câbles et le téléchargement d'applications pour offrir aux utilisateurs une interaction réelle et passionnante avec l'interface utilisateur. 

En plus de ses fonctionnalités principales, Ferret-UI intègre une partie inédite, à la fois sophistiquée et intuitive, qui optimise en permanence l'interface des applications et le système d'exploitation iOS (gérant ainsi le contrôle et la perception de l'ensemble des systèmes techniques par l'utilisateur). Parmi ses atouts majeurs, on retrouve le zoom avant et arrière, ainsi qu'une loupe permettant d'afficher correctement les images trop grandes à l'écran. De cette manière, l'interface mobile facilite et simplifie l'expérience utilisateur.

D'après les recherches de l'Université du Colorado, grâce à sa compréhension des spécificités des différents modèles de téléphones portables et à la reconnaissance des composants d'interface utilisateur, Ferret-UI peut identifier les éléments du téléphone, tels que les icônes, les textes et leurs noms. Le modèle s'adaptera au type d'appareil utilisé afin de fonctionner correctement avec toute interaction tactile, visuelle ou tactile, et ainsi fournir des données plus précises. 

De plus, il est remarquable que son application puisse partager, collecter et même trier des données précises au niveau des pixels de l'écran sans outils cachés, détecteurs ou techniques d'utilisation de fichiers abusives. Grâce à tous ces avantages, l'expérience utilisateur sur un seul écran atteint de nouveaux sommets.

Intégration potentielle avec Siri et les services Apple

L'interface Fret-UI proposée reste assez ambiguë quant à sa valeur ajoutée potentielle pour Siri, les iPhones ou tout autre Apple ; néanmoins, ses avantages sont nombreux. Cette nouvelle solution d'interface utilisateur permet un contrôle plus rapide de l'interface lors des conversations vocales avec Siri et les assistants vocaux. Parallèlement, elle facilite également la compréhension de l'interface mobile. 

Il est fort probable que cela permette à Siri de cerner les intentions de l'utilisateur et d'interpréter sa question en utilisant des produits regroupés dans des contextes similaires. L'un des domaines où par l'IA a un impact est l'amélioration de l'expérience utilisateur. Pandora devrait être rendu plus intuitif pour interagir avec Siri et accéder à des fonctionnalités complexes comme le filtrage ou le changement d'application.

Il est intéressant de noter que le nouveau logiciel intelligent Ferret-AI marque une étape importante dans le développement de l'intelligence artificielle grâce à ses fonctionnalités de pointe, combinées à plusieurs applications vocales artificielles comme Siri. Ces approches innovantes, qui utilisent exclusivement l'interface mobile pour collecter des données, permettent au système de servir de point de départ à l'utilisation des smartphones comme outils de communication. Bien que nous anticipions des succès en matière d'IA directionnelle et d'automatisation, il est encore trop tôt pour prédire avec précision comment les technologies de pointe transformeront notre monde.

Article original : https://www.phonearena.com/news/apples-ai-model-understand-apps-and-iphone-screen-could-it-unlock-siris-full-potential_id157186