Les générateurs d’art alimentés par l’IA sont des outils amusants et de plus en plus populaires. Ils vous permettent de créer des images et des illustrations en entrant un indice et en laissant le modèle d’IA, qui sera formé sur un ensemble de données de milliards d’images, faire son travail. DALL-E 2 d’OpenAI en est le principal exemple, mais il en existe plusieurs autres, dont Stable Diffusion de Stability AI.
Stable Diffusion est un modèle d’IA open source à grande échelle formé sur un sous-ensemble de 2,3 milliards d’images étiquetées en anglais à partir de l’ensemble de données LAION 5B, qui contient 5,85 milliards de paires image-texte. Vous pouvez accéder à Stable Diffusion dans le cloud sur le Web, ou l’exécuter sur un PC équipé d’un GPU avec 6 Go ou plus de VRAM, ou sur un Apple avec Apple Silicon exécutant macOS (13.1) ou iOS (16.2). La dernière version de Stable Diffusion, 2.1, est sortie en décembre 2022.
Au Mobile World Congress (MWC), Qualcomm présente pour la première fois une instance Stable Diffusion fonctionnant localement sur un smartphone haut de gamme alimenté par la dernière puce Snapdragon 8 Gen 2 de la société.
Image : Qualcomm
Ce développement est l’œuvre du groupe Qualcomm AI Research, qui utilise les outils de développement AI Stack et Qualcomm. Le modèle de langage Stable Diffusion est quantifié et optimisé à l’aide de int8, ce qui permet de stocker l’intégralité du modèle sur un smartphone. Quatre optimisations de pile AI créent une image de haute qualité de 512 x 512 pixels en moins de 15 secondes à partir de l’entrée de la demande, démontrant 20 étapes d’inférence des pixels aléatoires à l’image finale. « Nous améliorons constamment la latence et la précision », a déclaré Mike Roberts, vice-président de Qualcomm.
Performance, confidentialité, sécurité et coût
La décision d’exécuter des charges de travail d’IA sur mobile plutôt que dans le cloud est motivée par des considérations de performances, de confidentialité, de sécurité et de coût. « Plus il y a d’informations sur l’appareil, plus nous pouvons faire évoluer cette technologie pour les applications », a déclaré Roberts.
« Nous voulons vraiment montrer que c’est ainsi que nous pouvons développer des appareils et des modèles pour rendre l’IA vraiment omniprésente », a-t-il ajouté. Voici quelques exemples de ce que le streaming stable (web) peut faire :
Image : Diffusion stable
Image : Diffusion stable
Un mot d’avertissement : les énormes bases de données utilisées pour former les générateurs de modèles d’IA collectent des images sur Internet et peuvent inclure des éléments inappropriés ou protégés par des droits d’auteur. Getty Images poursuit actuellement Stable AI pour avoir utilisé 12 millions de ses images de l’ensemble de données LAION 5B sans autorisation pour former Stable Diffusion.
Grand fan de mangas et d’animes, je n’aime bien écrire qu’à propos de ses sujets, c’est pour ca que j’écris pour 5 minutes d’actus. Au quotidien de décortique, donne mes avis sur les différents épisodes et chapitres des mangas que j’aime lire.
