DALL·E 2 : un puissant générateur d’images gratuit basé sur une IA
Par: Benjamin 17 octobre 2022
L’intelligence artificielle est le nouvel eldorado numérique depuis quelques années. Pour autant, ses applications concrètes se faisaient rares à ses débuts (pour le grand public tout du moins). Puis, la situation s’est progressivement améliorée, notamment avec l’arrivée des générateurs de texte bénéficiant de la capacité d’apprentissage inouïe de GPT-3. Aujourd’hui, ce sont les générateurs d’image basés sur l’IA qui ont le vent en poupe ! Nous avons ainsi vu l’émergence de Midjourney, la progression de Make-a-Scene et la percée de DALL·E (sans oublier sa variante gratuite Craiyon). Plus récemment, l’organisation OpenAI nous en a dévoilé une seconde version : DALL·E 2. Générer des images époustouflantes grâce à l’intelligence artificielle !
DALL·E 2 était en développement depuis un moment avant qu’il ne devienne accessible en version bêta sur liste d’attente depuis du mois d’avril 2022. Puis, il y a quelques jours – à la surprise générale – OpenAI a fait savoir que l’outil était désormais finalisé et accessible à tous ! Depuis, les exemples de génération envahissent les réseaux sociaux.
S’il vous prend l’envie de tester la capacité de compréhension d’une IA en lui disant ce que vous avez en tête, il vous suffit de vous inscrire sur le site openai.com. Vous aurez alors droit à 50 crédits gratuits, suivis de 15 autres par mois.
Pour aller plus loin, vous pourrez faire l’acquisition de crédits supplémentaires au prix de 15 $ pour 115 crédits. Sachez qu’un crédit équivaut à une génération d’image qui, elle-même, vous offrira 4 images supplémentaires, ou plutôt 4 variantes d’une même image générée. Au total, cela représente donc 460 images pour 15 $. Un prix défiant toute concurrence !
DALL·E 2 DALL·E 2, un générateur d’images très simple à utiliser
Concernant l’utilisation de l’outil, on peut difficilement faire plus simple. Vous avez forcément déjà utilisé Google n’est-ce pas ? Vous serez donc à l’aise avec DALL·E 2 !
En effet, l’interface se contente d’un champ de recherche où vous entrerez votre requête avant de valider pour découvrir le résultat quelques secondes après. À noter qu’il est désormais possible d’y charger une de vos propres photos pour demander à l’intelligence artificielle de la modifier, en supprimant un défaut par exemple, ou en ajoutant des éléments de votre choix. Votre imagination sera votre seule limite. Enfin, pas tout à fait…
En effet, l’organisation derrière ce projet a longtemps travaillé dans le but de rendre les algorithmes moins permissifs, notamment pour éviter les dérives de toutes sortes : fake news, violence, sexualité, stéréotypes…
Enfin, sachez que cette nouvelle version compte déjà plus de 1,5 million d’utilisateurs et qu’un partenariat avec Microsoft vient d’être acté pour intégrer l’IA directement dans son nouveau logiciel « Microsoft Designer ». Ce dernier sera disponible dans la suite Microsoft 365 avec pour but d’aider les professionnels. L’éditeur de Windows compte également intégrer DALL·E 2 dans son moteur de recherche Bing et son navigateur Edge.
L’avenir est à l’IA, s’annonce donc visuel ! Certes, on est en droit de s’interroger sur les limites et dérives possibles de ces outils, mais DALL·E 2 est, à l’heure actuelle, le meilleur représentant de cette technologie et des bénéfices qu’elle peut apporter. Comment générer gratuitement des images avec DALL·E 2 ?
1. Commencez par créer un compte gratuit sur le site DALL·E 2.
2. Une fois inscrit, le site vous indiquera que vous avez droit de générer jusqu’à 50 images gratuitement, puis 15 images par mois. Cliquez sur le bouton « Start creating with DALL·E » pour commencer.
DALL·E 2 : un générateur d'images basé sur une IA
3. Vous trouverez alors une barre de recherche depuis laquelle vous devez renseigner des mots-clés (en anglais) qui décrive l’image que vous souhaitez obtenir. Ensuite, cliquez sur le bouton « Generate » pour générer les images.
Générer des images avec DALL·E 2
4. Vous obtiendrez alors 4 images générées par l’IA que vous pouvez télécharger gratuitement. Aussi, lorsque vous cliquez sur les 3 petits points horizontaux en haut à droite d’une image, un menu contextuel apparaîtra dans lequel vous trouverez diverses options. Vous pouvez ouvrir l’image dans un nouvel onglet, mais aussi l’éditer, la télécharger au format PNG ou encore générer des variantes à partir de l’image sélectionnée.
✅ Voilà, vous savez maintenant comment générer des images gratuitement avec l’outil DALL·E 2.
Exemple d'image générée avec DALL·E 2 Ce qu’il faut retenir
DALL·E 2 est un excellent programme d’intelligence artificielle capable de générer des images à partir de descriptions textuelles. Il a été créé par OpenAI, une société de recherche spécialisée dans l’intelligence artificielle et l’apprentissage automatique.
Ce générateur d’images a été entraîné sur un ensemble de données de plus de 12 millions d’images. Cela lui permet de comprendre les concepts derrière le texte et de créer une image qui le représente.
L’avantage d’utiliser DALL·E 2 est que vous n’avez pas besoin de connaissances préalables en matière de graphisme ou de logiciels d’imagerie ; tout ce dont vous avez besoin, c’est de créativité et d’imagination. En outre, comme DALL·E 2 est basé sur l’intelligence artificielle, il peut continuer à s’améliorer au fil du temps, à mesure qu’il reçoit de nouvelles données.
Dans l’ensemble, DALL·E 2 offre un moyen unique et puissant de créer des images à partir de descriptions textuelles. Et vous, connaissez-vous d’autres outils de création visuelle (basée ou non sur une IA) ? Partagez-les-nous en commentaire !
Midjourney est une intelligence artificielle qui a récemment fait parler d’elle en permettant de générer des images à partir de texte.
Si vous êtes intéressé par cette technologie innovante et par la
manière de l’utiliser, vous êtes au bon endroit. Dans cet article, nous
allons vous expliquer les possibilités offertes par Midjourney, mais
aussi et surtout comment l’utiliser pour créer de belles images. Suivez le guide !
Qu’est-ce que Midjourney ?
Midjourney est une intelligence artificielle (IA) conçue pour générer
des images à partir de texte. Cette technologie est basée sur
l’apprentissage automatique et utilise des algorithmes de traitement du
langage naturel et de génération d’images pour créer des images en fonction de vos instructions.
Midjourney est particulièrement utile pour ceux qui cherchent à créer des illustrations
ou à trouver de l’inspiration pour leur prochain projet artistique.
Elle peut également être utilisée pour créer des images pour des
campagnes de marketing ou pour toute autre utilisation nécessitant des
illustrations de qualité.
L’un des avantages de Midjourney est qu’elle permet de créer des images de manière rapide et efficace, sans avoir besoin de connaissances en design ou de logiciels de dessin complexes. Il suffit de fournir une description de l’image souhaitée et Midjourney s’occupe du reste.
Cependant, il est important de noter que, comme pour toute
intelligence artificielle, il y a des limites à ce que Midjourney peut
faire. La qualité des images générées dépend de la précision et de la
clarté de la description de texte fournie, et il peut y avoir des
différences entre l’image générée et l’image souhaitée. Cependant,
Midjourney continue de s’améliorer et devient de plus en plus précise au
fil du temps grâce à l’apprentissage en continu.
Comment utiliser Midjourney ?
Pour générer des images avec Midjourney, suivez attentivement les quelques étapes ci-dessous.
2. Ensuite, rendez-vous sur le site web de Midjourney et cliquez sur « Join the Beta ».
3. Vous recevrez alors une invitation pour rejoindre le serveur Discord de Midjourney,
que vous pourrez accéder depuis l’application Discord sur votre
smartphone ou votre ordinateur, ou directement dans votre navigateur
Web.
4. Une fois sur le serveur Discord, cliquez sur un salon #newbie et tapez votre « prompt » (instruction pour l’IA sur l’image que vous souhaitez générer) en utilisant la commande /imagine suivie de votre demande.
Par exemple, si vous voulez un chat cosmonaute dans un style réaliste en 4K, vous pouvez taper /imagine 4K realist cosmonaut cat.
Essayez de construire votre demande de manière à ce qu’elle ressemble à
une recherche Google, en précisant bien le sujet, le style que vous
cherchez, et éventuellement l’angle, le cadrage, la lumière ou les
couleurs que vous souhaitez. De plus, notez que pour obtenir des
résultats plus précis, il est recommandé d’écrire vos prompts en
anglais.
Note importante : Il est important de bien choisir
vos prompts car la version gratuite de Midjourney ne vous permet que 25
tentatives. Si vous voulez continuer à utiliser l’IA après avoir épuisé
votre quota, vous devrez payer 10$ par mois pour 200 prompts, ou 30$
pour une utilisation illimitée (et la création d’un nouveau compte
Discord).
5. Quelques secondes plus tard, vous recevrez une
notification vous informant que votre image est prête ! Midjourney vous
proposera toujours 4 petites images de mauvaise qualité pour commencer.
Vous avez alors plusieurs options :
Si aucune image ne vous convient, vous pouvez cliquer sur le symbole pour relancer la génération d’images ;
Si une image vous plaît mais que vous pensez qu’elle pourrait être améliorée, vous pouvez cliquer sur le bouton « V » (pour « Variation ») et choisir une des images proposées ;
Si une image vous satisfait, vous pouvez cliquer sur le bouton « U » (pour « Upscale ») pour obtenir une version de meilleure qualité.
6. Il ne vous restera plus qu’à cliquer sur l’image finale pour la télécharger gratuitement depuis votre navigateur Web. Pour ce faire, faites un clic droit dessus et sélectionnez « Enregistrer l’image sous… ».
Midjourney est-il gratuit ou payant ?
Midjourney propose une offre gratuite et 2 offres payantes. La
version gratuite de Midjourney vous permet de générer jusqu’à 25 images,
tandis que les versions payantes sont proposées à des tarifs de
10$/mois pour environ 200 images et 30$/mois pour un nombre illimité
d’images.
Si vous souhaitez en savoir plus sur ces offres ou si vous avez
besoin de plus d’informations, vous pouvez vous rendre sur le site Web
de Midjourney à l’adresse indiquée : https://www.midjourney.com/account/.
Conclusion
Midjourney est une intelligence artificielle très utile pour ceux qui
cherchent à créer des images ou à trouver de l’inspiration pour leur
prochain projet artistique. En suivant les étapes ci-dessus, vous
devriez être en mesure de créer des images de qualité en utilisant
Midjourney. N’oubliez pas de bien choisir vos prompts et de payer pour
la version premium si vous voulez continuer à utiliser l’IA après avoir
épuisé votre quota de prompts gratuits.
Vous avez un site (ou des comptes sociaux) et
souhaitez illustrer vos publications avec des images libres de droits
uniques ? Vous vous intéressez à l’IA et aux générateurs d’images comme Dall-E 2 ? Voici 6
des meilleurs générateurs AI gratuits (et professionnels) permettant de
créer une image à partir d’une description (prompt textuel).
Ces applications gratuites et payantes d’intelligence artificielle
peuvent transformer une phrase en une peinture ou une image réaliste, le
tout, libre de droits.
Accès rapide (Sommaire) :
Lecture rapide : les 6 meilleurs générateurs automatiques d’images à partir de texte
Nightcafe, le générateur d’images abstraites 100% gratuites avec un quota journalier ;
Lexica.art, l’un des meilleurs générateurs d’images abstraites (gratuit) ;
Photosonic par Writesonic, le générateur le plus pro avec une version gratuite jusqu’à 10 images (meilleur rapport qualité / prix) ;
Generated.photos, le générateur de photos réalistes de personnes ;
Dall-E 2, la référence en matière de génération d’images réalistes à partir de texte ;
Crayion, ou Dall-E mini, l’alternative 100% gratuite aux autres générateurs de visuels.
1- Nightcafe, le convertisseur AI gratuit de texte en image le plus simple d’utilisation
Nightcafe
est l’exemple type de ces applications de conversion de texte en image
qui vous feront tomber de haut en voyant le genre de créations
époustouflantes que l’IA peut faire.
Tapez n’importe quelle phrase
descriptive en anglais et Nightcafe utilisera l’IA pour la transformer
en peinture (ce site n’est pas capable de créer des images réalistes).
Aperçu de l’interface de Nightcafe
Lorsque
vous créez une nouvelle image, vous pouvez choisir parmi divers styles
artistiques (peinture à l’huile, mat, surréaliste, steampunk, etc.).
Ensuite, vous devez choisir entre deux styles d’IA : Artistique et
Cohérent.
Il existe une différence fondamentale entre les deux
styles. La variante Artistique est plus adaptée aux créations
abstraites, comme la représentation de bâtiments dans le ciel ou
d’autres phrases imaginatives. La version Cohérente est plus adaptée aux
images « réalistes » (bien que les résultats restent globalement
abstraits).
Voici
des exemples concrets de réalisations obtenus avec cette IA de
génération d’images et des prompts assez détaillés (en anglais) :
Avec
Nightcafe, vous pouvez sélectionner le rapport hauteur/largeur, la
résolution de sortie et quelques autres paramètres, et le tour est joué.
Nightcafe vous donnera une œuvre originale basée sur vos paramètres et
votre prompt textuel en quelques secondes. Toutes vos créations seront
enregistrées dans votre compte en ligne.
Lorsque vous créez un
compte, vous recevez cinq crédits gratuits, ainsi que cinq crédits
quotidiens. Les crédits déterminent le nombre de modifications que vous
pouvez apporter aux paramètres d’une génération.
A l’issue de la génération, vous pourrez télécharger gratuitement votre « œuvre » en basse résolution (.
2- Lexica.art : le meilleur générateur gratuit d’images par IA (non réalistes)
Lexica.art : l’un des meilleurs générateurs d’images abstraites grâce à l’IA (gratuit)
Lexica.Art
est un moteur de recherche d’images et générateur alimenté par
l’intelligence artificielle (IA) gratuit développé par Stable Diffusion.
Il a été conçu comme un outil pour trouver et étudier les images créées par l’IA.
L’interface est simple, composée d’une barre de recherche et de aperçus d’images.
Lorsqu’une
recherche est effectuée, les résultats incluent le texte source, la
graine et l’échelle de guidage libre de classificateur, qui peuvent être
utilisés pour recréer une image similaire en utilisant Dream Studio, un
autre projet de Stable Diffusion.
Lexica Art dispose également
d’une fonctionnalité qui permet aux utilisateurs de générer des images à
partir de textes, avec un nombre limité d’options par rapport à Dream
Studio.
Les utilisateurs peuvent enregistrer leurs images
préférées et les utiliser à des fins personnelles dans une galerie
personnelle, et peuvent également télécharger une image pour l’utiliser
comme point de départ pour générer de nouvelles images.
Dans l’ensemble, Lexica Art est un outil utile et facile à utiliser pour explorer et créer des images avec l’IA.
3- Generated.photos, le puissant générateur d’image de personnes qui semblent réelles
Dans le même esprit que le site « This Person Does Not Exist », les photos de personnes générées par le site Generated.photos sont créées de toutes pièces par des systèmes d’IA.
Generated.photos
Toutes
les images peuvent être utilisées à n’importe quelle fin sans se
soucier des droits d’auteur, des droits de distribution, des
réclamations pour infraction ou des redevances.
Les photos sont
très réalistes et il est possible de personnaliser de nombreux critères
sur l’avatar que l’on souhaite créer avec Generated.photos comme le
choix du sexe, le type de cheveux, la couleur de cheveux ou encore la
couleur de peau, ect…
Les photos de personnes générées par Generated.photos sont-elles gratuites et libres de droits ?
Les
images peuvent être téléchargées gratuitement et utilisées à titre
personnel. Pour toute utilisation d’une photo de profil générée par l’IA
Generated.photos, le site demande simplement un backlink
vers la source en retour. Des images de meilleure qualité et des
licences d’utilisation commerciale sont disponibles pour les
téléchargements individuels et l’accès à l’API. Les tarifs débutent à,
19,99$ par mois pour la version premium offrant accès à des fichiers de
plus grande taille (1024 x 1024 pixels).
4- Dall-E 2, le générateur d’image pour les professionnels (avec accès API)
DALL-E 2
est un nouveau système d’IA capable de créer des images et des œuvres
d’art réalistes à partir d’une description en langage naturel.
Exemple d’image générée par DALL-E 2
Dall-E 2 est un générateur d’images professionnel avec accès API.
Il est capable de produire des images de haute qualité à partir de
textes simples. Il est également très facile à utiliser et permet de
générer des images de manière rapide et efficace.
5-
Photosonic : le générateur professionnel d’images libres de droits de
Writesonic (pour remplacer les banques d’images payantes)
Créé par l’outil de rédaction automatiqueWritesonic,Photosonic est un outil en ligne qui vous permet de créer des images réalistes ou artistiques à partir de n’importe quelle description textuelle, en utilisant un modèle d’IA texte-image de pointe.
Test de Photosonic
Le
modèle est basé sur la diffusion latente, un processus qui transforme
progressivement une image de bruit aléatoire en une image cohérente qui
correspond au texte.
Vous pouvez contrôler la qualité, la
diversité et le style des images générées en ajustant la description et
en réexécutant le modèle.
Exemple de résultat suite au test de l’IA Photosonic
Quels sont les cas d’usages envisageables de Photosonic ?
Vous
pouvez créer des images de paysages, d’animaux, d’objets, de
personnages, de scènes ou de tout ce que vous pouvez imaginer, et les
personnaliser avec divers attributs et détails.
Vous pouvez
également utiliser Photosonic pour améliorer ou modifier des images
existantes en ajoutant des annotations textuelles ou des filtres.
Photosonic est-il gratuit ?
Photosonic est gratuit jusqu’à 10 crédits de génération d’images que vous pouvez utiliser pour créer jusqu’à 20 images à partir de n’importe quelle description textuelle.
Vous
pouvez également gagner des crédits supplémentaires en partageant
Photosonic autour de vous en invitant d’autres personnes à rejoindre
l’application.
Si vous souhaitez débloquer la génération d’images
illimitée et accéder à davantage de fonctionnalités et de paramètres,
vous pouvez passer à un abonnement premium pour un faible coût mensuel
ou annuel (ou acheter des crédits à la carte).
Les images générées par Photosonic sont-elles libres de droits ?
Oui.
Lorsque vous utilisez Photosonic, les images que vous créez deviennent
publiques et son donc libres de droits (et libres d’utilisation par
n’importe qui d’autre que vous également).
Cela signifie que vous
et les autres utilisateurs pouvez librement reproduire, afficher,
exécuter, distribuer et créer des œuvres dérivées basées sur ces images,
sans aucune exigence de redevance ou d’attribution.
Les images générées par Photosonic peuvent-elles être utilisées à des fins commerciales ?
Vous
avez tous les droits d’utiliser les images créées par Photosonic à
partir de vos données à des fins personnelles ou commerciales, pour
autant que vous respectiez les règles et les conditions de service de
l’outil.
Quelle est la qualité des images générées par Photosonic ?
Elles peuvent être téléchargées jusqu’en 2048 x 2048 pixels, ce qui est grandement suffisant pour la plupart des supports web.
6- Craiyon (dall e mini), un générateur d’images en ligne 100% gratuit (mais limité)
Craiyon, anciennement DALL-E mini,
est un modèle d’IA capable de dessiner des images à partir de n’importe
quel texte gratuitement (le site diffuse simplement des publicités pour
financer ses serveurs) !
Seul
inconvénient, et non des moindres, les images générées le sont dans une
faible qualité, les rendant difficillement exploitables sur des sites
web (format 256 x 256 pixels uniquement).
Voici un exemple de résultat obtenu avec ce prompt « A realistic picture of a computer using AI to generate photos » :
Les
deux fondateurs de cette IA sont Boris Dayma (qui a formé la version
actuelle du modèle AI DALL-E mini) et Pedro Cuenca (qui a travaillé sur
le backend).
Pour tirer le meilleur de DALL-E mini, les fondateurs
recommandent d’utilisation de termes spécifiques comme
« illustration », « photo réaliste », « haute définition »… en
complément des descriptions du type de photo recherché.
Le modèle utilisé par Craiyon est appelé « DALLE mini« ,
plus précisément la version plus grande également connue sous le nom de
« DALLE mega » et est entraîné à l’aide de Google TRC.
Les images générées par Craiyon sont-elles libres de droits ?
Il existe deux types de licences avec chacune ses spécificités :
La licence commerciale gratuite ;
La licence commerciale payante.
Licence commerciale gratuite Dall-E mini
Vous
pouvez utiliser le site ou les images à des fins académiques ou de
recherche ou pour éduquer ou divertir sur diverses plateformes de médias sociaux.
Si
vous êtes un particulier ou une entité dont le chiffre d’affaires
annuel est inférieur à 1 million de dollars américains, vous êtes
autorisé à utiliser les images générées par le Service dans le but de
réaliser un gain financier, à condition que (1) une redevance de 20 %
soit due sur les revenus attribuables à toute transaction blockchain
(telle que la vente de NFT), et que (2) Craiyon puisse révoquer votre
droit d’utiliser le Site ou les images à tout moment.
L’utilisation commerciale gratuite nécessite que vous attribuiez les images à Craiyon (via un lien notamment).
Licence commerciale payante Craiyon
Si
vous êtes un particulier ou une entité dont le revenu annuel est
supérieur à 1 million de dollars américains, l’utilisation commerciale
du site ou des images est soumise aux conditions d’un contrat de licence
commerciale distinct. Pour en savoir plus, vous pouvez les contacter à
l’adresse sales@craiyon.com.
Réponses aux questions fréquentes sur les générateurs d’images, peintures digitales et photos (par IA)
L’utilisation
des sites capables de générer des images à partir d’un simple texte
pose beaucoup de questions. Voici quelques-unes des questions les plus
fréquentes autour de ce sujet. Si vous en avez d’autres, n’hésitez pas à
nous les poser en commentaires pour que nous puissions y répondre et
les ajouter à la liste.
Qu’est-ce qu’un générateur d’images IA en ligne ?
Un générateur d’images IA en ligne est un programme informatique qui est capable de créer des images de haute qualité à partir de données numériques. Ces images peuvent être des illustrations, des logos ou des photos.
Généralement,
il suffit d’un ou plusieurs mots pour pouvoir créer des images uniques à
l’aide d’une IA entrainée pour cela. Plus le texte d’entrée (prompt)
est détaillé, plus l’image générée aura de chances de ressembler au
résultat attendu.
Comment fonctionnent les générateurs d’images alimentés par des intelligences artificielles ?
Les
générateurs d’images alimentés par des intelligences artificielles (IA)
sont des programmes informatiques capables de produire des images de
haute qualité à partir de données aléatoires. Ces images sont créées en
utilisant une technique d’apprentissage automatique connue sous le nom
de « génération par transfert ».
Les générateurs d’images sont-ils gratuits ?
Les
générateurs d’images sont des outils en ligne qui permettent de créer
des images à partir de textes ou de modèles prédéfinis. Ces outils sont
habituellement gratuits et faciles à utiliser, mais des versions
professionnelles sont également souvent proposées lorsque les besoins
sont plus importants que la génération de seulement quelques images.
Les images générées par les AI image generator sont-elles libres de droits ?
Les
pluparts des images générées par les AI image generator sont libres de
droits. Vous pouvez les utiliser à des fins commerciales ou non
commerciales. Si le site ou le service utilisé ne vous y autorise pas,
vous serez dans tous les cas notifiés lors du téléchargement du visuel
généré.
Qu’est-ce que Dall-E ?
Dall-E est un générateur d’images open-source créé par OpenAI,
une entreprise de recherche en intelligence artificielle. Dall-E est
capable de générer des images à partir de textes descriptifs, comme «
une personne en train de jouer de la guitare » ou « un chien qui court
après un frisbee ». À ce jour, la plupart des images générées par Dall-E
1 et Dall-E 2 ne sont pas encore capables de rivaliser avec de vraies
photos prises par des professionnels.
Comment utiliser Dall E ?
Dalle
est un générateur d’image gratuit et open source. Il permet de générer
des images de différentes tailles, en fonction de votre choix. Vous
pouvez également ajouter des effets à vos images, comme la rotation, le
redimensionnement, etc. Pour l’utiliser dans le cadre de la création de
nouvelles images, il suffit de préparer un texte descriptif, le plus
complet possible, décrivant l’image que vous souhaiteriez que le modèle
vous génère.
Avec Dall-E, Openai est-elle la seule entreprise à proposer un générateur d’images ? Quelles alternatives existent ?
Non, il existe différents modèles de machine learning entrainés pour créer des images plus ou moins réalistes.
Parmi les plus connus, on citera par exemple ces 4 alternatives :
X-LXMERT
: Créé par AI2 Labs, X-LXMERT est une extension de LXMERT, un
transformateur de connexions visuelles et linguistiques. L’outil est
doté de raffinements en matière de formation et de capacités de
génération d’images améliorées, rivalisant avec les modèles spécialisés
dans la génération d’images. X-LXMERT présente trois raffinements clés :
La discrétisation des représentations visuelles, l’utilisation d’un
masquage uniforme avec une large gamme de rapports de masquage, et
l’alignement des ensembles de données de pré-entraînement sur les bons
objectifs. Sur leur page de projet, l’équipe de recherche X-LXMERT a
expliqué l’entraînement comme suit : « Nous utilisons l’échantillonnage
de Gibbs pour échantillonner itérativement des caractéristiques à
différents endroits de l’espace. Contrairement à la génération de texte,
où l’ordre de gauche à droite est considéré comme naturel, il n’existe
pas d’ordre naturel pour la génération d’images. »
RuDALL.E
: ruDALL-E prend une courte description et génère des images sur cette
base. Le modèle comprend un large éventail de concepts et génère des
images et des objets totalement nouveaux qui n’existaient pas dans le
monde réel. Le modèle russe d’OpenAI, ruDALL.E, est entraîné sur
ruGPT-3, qui a été entraîné sur 600 Go de texte russe. Le modèle russe
ruDALL.E possède 1,3 milliard de paramètres et un tokeniseur de texte
YTTM avec un dictionnaire de 16 000 tokens. Il s’appuie sur un modèle
VQGAN personnalisé qui convertit une image en une séquence de 32×32
caractères. Il existe deux modèles en cours d’exécution de l’outil,
Malevich (XL) entraîné sur 1,3 milliard de paramètres avec un codeur
d’image et Kandinsky (XXL) avec 12 milliards de paramètres. En exécutant
le premier modèle avec le même texte que le dernier exemple de DALL.E, à
savoir « un fauteuil en forme d’avocat », ruDALL.E a compris la
combinaison chaise et avocat dans la fonction de forme.
GLID-3
: GLID-3 est une combinaison de GLIDE d’OpenAI, de la technique de
diffusion latente et de CLIP d’OpenAI. Le code est une version modifiée
de la diffusion guidée et est entraîné sur des images de personnes de
type photographique. Comparé à DALL.E, le résultat de GLID-3 est moins
capable de produire des images imaginatives pour des prompts donnés.
CLIP :
avant de lancer DALL-E, l’équipe de recherche d’OpenAI a présenté un
outil texte-image en libre accès, baptisé CLIP. Le réseau neuronal
Contrastive Language-Image Pre-training a été entraîné sur 400 millions
de paires d’images et de textes. L’outil apprend efficacement des
concepts visuels à partir de la supervision du langage naturel et peut
être appliqué à la classification en fournissant les noms des catégories
visuelles à reconnaître. Dans un document présentant le modèle,
l’équipe de recherche d’OpenAI a décrit la capacité de CLIP à effectuer
diverses tâches pendant le pré-entraînement, notamment la reconnaissance
de caractères d’objets (OCR), la géolocalisation, la reconnaissance
d’actions, etc. CLIP s’est avéré très efficace, flexible et plus
généralisé. En outre, elle est beaucoup moins coûteuse, car elle
s’appuie sur des ensembles de données de paires texte-image déjà
disponibles sur Internet. Elle peut s’adapter pour réaliser un plus
large éventail de tâches de classification visuelle.
Les IA ne peuvent-elles que générer des images abstraites ?
Non,
toutes les intelligences artificielles ne font pas que créer des images
abstraites, elles peuvent également générer des images relativement
réalistes du moment que le prompt initial est bien détaillé.
Les IA peuvent-elles être utilisées pour générer des images dans le cadre de projets NFT ?
Les
images générées par les IA peuvent-elles être utilisées dans le cadre
de projets NFT ? La réponse est oui, mais à condition que les images
soient générées par une IA entraînée pour le faire (ou, a minima, que
l’utilisateur de l’IA soit suffisamment habitué à l’utilisation de ces
outils afin d’en sortir des images de qualité). Bien entendu, pour
pouvoir être commercialisées en tant que Non Fongible Tokens, les images
devront avoir été générées grâce à une IA générant des visuels libres
de droits.
