Meta dévoile « Emu » pour améliorer la génération d'images IA

Meta AI, le géant technologique derrière la vision du Métavers, a annoncé un développement révolutionnaire en intelligence artificielle. Ils ont présenté un nouveau projet appelé « Emu », visant à améliorer la qualité des images générées par l'IA. Emu est un bond en avant dans l'innovation IA et souligne l'importance d'une curation méticuleuse et de l'expertise humaine dans le contenu généré par l'IA.

Pré-entraînement avec 1.1 milliards de paires image-texte

Au cœur du développement d'Emu se trouve un processus en deux étapes qui commence par le pré-entraînement. Dans cette phase initiale, un modèle de diffusion est exposé à un ensemble de données massif composé de 1,1 milliard de paires image-texte provenant des ressources internes de Meta AI. Le joueur clé ici est un modèle U-Net affichant un impressionnant 2,8 milliards de paramètres. Les encodeurs de texte comme CLIP ViT-L et T5-XXL entrent en jeu pour compléter cette architecture. L'objectif global ? Générer des images de haute qualité avec une résolution de 1024×1024 pixels.

Filtrage rigoureux des ensembles de données

Le contrôle qualité est primordial lorsqu'il s'agit de créer du contenu généré par l'IA. Meta AI utilise plusieurs filtres pour garantir l'intégrité de son ensemble de données. Plus de 200 000 échantillons sont méticuleusement éliminés parmi plus d'un milliard d'exemples. Divers filtres entrent en jeu :

Évaluation esthétique

Des classificateurs sont employés pour évaluer l'esthétique des images. Cette étape aide à rejeter les images qui ne répondent peut-être pas aux normes visuelles souhaitées.

Filtrage du contenu

Des mécanismes sont en place pour rejeter le contenu indésirable. Cela garantit que les images générées sont non seulement visuellement attrayantes, mais adhèrent également aux directives de la communauté et aux normes éthiques.

Exclusion du texte

Les images lourdement chargées de texte sont exclues à l'aide de la reconnaissance optique de caractères (OCR). Cela garantit que l'accent reste mis sur l'aspect visuel.

Vérifications de résolution et de proportion

Les images qui ne répondent pas aux critères de résolution et de proportion prédéfinis sont filtrées, assurant l'uniformité de l'ensemble de données.

Métriques de popularité

Même les métriques de popularité, comme les « j'aime », jouent un rôle dans la filtration, affinant davantage l'ensemble de données.

Expertise humaine dans la curation

Dans la phase suivante, l'expertise humaine prend le devant de la scène. Des généralistes, des individus bien familiarisés avec l'annotation de données, examinent les 200 000 images restantes et sélectionnent un sous-ensemble de 20 000. L'objectif principal est d'identifier et de supprimer les images nettement inférieures, apportant une touche humaine à la curation. Cette étape est cruciale, car les heuristiques seules peuvent ne pas garantir une qualité d'image de premier ordre.

Sélection d'images par des spécialistes de la photographie

La quête de la qualité d'image ne s'arrête pas là. Une équipe dédiée de **spécialistes de la photographie** avec une connaissance approfondie des principes photographiques entre en scène. Leur mission ? Filtrer et sélectionner les images qui illustrent la plus haute qualité esthétique. Ils scrutent la composition, l'éclairage, les schémas de couleurs, les contrastes, la pertinence thématique et les arrière-plans. Ce processus de sélection méticuleux est pivotale dans la création d'images générées par l'IA qui répondent aux normes visuelles les plus élevées.

Création d'annotations textuelles de haute qualité

En tant que touche finale, des annotations textuelles de haute qualité sont méticuleusement créées pour cet ensemble de données curaté de 2 000 paires image-texte. Ces annotations fournissent du contexte et du sens aux images générées, améliorant leur utilité et leur attrait.

Entraînement du modèle

Avec l'ensemble de données affiné, le modèle Emu entreprend la phase d'entraînement. Il complète 15 000 étapes avec une taille de lot de 64. Notamment, cette taille de lot est relativement petite par rapport à d'autres grands modèles génératifs. Bien que le modèle puisse être sur-entraîné sur la base de la perte de validation, les **évaluations humaines** peignent un tableau différent. Ce phénomène reflète les observations faites dans les modèles de langage, où les métriques ne racontent pas toujours toute l'histoire de la performance du modèle.

L'art et la science des images générées par l'IA

Le processus multi-étapes d'Emu représente une étape importante dans le contenu généré par l'IA. L'approche de Meta AI cherche non seulement à améliorer les applications pratiques de leurs services, mais souligne également le rôle vital d'une curation soigneuse et de l'expertise humaine dans l'affinement du contenu généré par l'IA. Alors que l'IA continue de remodeler les industries et notre façon d'interagir avec la technologie, Emu se dresse comme un témoignage du mariage de l'art et de la science dans la quête d'images générées par l'IA de meilleure qualité.

Dans un monde où le support visuel détient une influence immense, Emu promet d'élever les normes de l'imagerie générée par l'IA, ouvrant la voie à des expériences numériques plus immersives et captivantes dans le Métavers et au-delà. Pour plus de détails sur ce développement révolutionnaire, explorez l'article complet pour plonger plus profondément dans l'avenir de la génération d'images IA.