Projet TraAM 2024: Illustrer un récit avec l’IA

Dans le cadre des TraAM 2023-2024 ( Travaux Académiques Mutualisés) sur les enjeux de l’intelligence artificielle en classe de langue, l’intelligence artificielle générative d’images a suscité l’intérêt de l’équipe constituée de professeurs d’anglais, d’espagnol et de créole. En effet, l’image joue un rôle central dans notre discipline. Elle a traversé les époques et les différentes méthodes et pédagogies. Mais alors que les IA génératives de texte telles que ChatGPT ou les IA génératives d’images telles que Dalle ou Midjourney entrent dans notre vie quotidienne et professionnelle ( sans que l’on ne les maîtrise forcément car « émergentes »), elles entrent aussi dans la vie quotidienne de nos élèves. Devons nous embrasser ces outils ou les fuir, les interdire?

Les instructions officielles sont claires au sujet de la nature des images « objets d’étude », elles doivent être authentiques et ancrées dans la culture de la langue étudiée. Cela est acquis. L’IA ne peut le remettre en question.

Pour autant, le recours aux outils de l’IA générative d’images peut-il apporter une plus-value par rapport au dessin réalisé à la main lorsqu’il s’agit d’illustrer sa compréhension d’un document, par exemple? Quelles peuvent-être les plus-values du recours à des outils qui génèrent des images en classe de langue?

Introduction

Les documents et ressources ci-dessous ont été conçus dans le cadre d’une séquence qui s’inscrit dans la perspective actionnelle sur le thème du réchauffement climatique en classe de seconde. Elle s’appuie sur des supports variés, des textes, des vidéos, des fichiers audio. Ils ne sont en aucun cas un modèle et sont adaptables. Ce projet est proposé par Mme BERNARD Laurence, professeur d’anglais au lycée Montgerald, Le Marin.

Niveau : A2/B1
Classe : 2de générale
Thème du programme : Sauver la planète, penser les futures possibles
Tâche finale :
1- Produire une bande-dessinée illustrant une histoire pour enfant sur le thème du réchauffement climatique
2- Présenter son œuvre à la classe.
Modalités : Activités individuelles, des activités en binôme, des activités en groupe. En classe, en salle informatique, à la maison.
Supports utilisés : Documents vidéo, audio, textuels, images.
Activités de communication langagière :
– Réception de l’écrit et de l’oral dans la langue étrangère: comprendre des récits
– Expression écrite et orale dans la langue étrangère: rédiger des prompts, produire une planche de bande-dessinée et présenter son œuvre à l’oral.
Compétences linguistiques
– Lexicales : thématique du réchauffement climatique et de l’environnement, vocabulaire de l’analyse du récit, lexique d’un prompt pour générer une image avec l’IA
– Grammaticales : les temps (présent / passé narratif), la syntaxe d’un prompt, l’adjectif
– Phonologiques : accentuation du lexique thématique, intonation
– Socio-culturelles: mobiliser des références culturelles pour interpréter les éléments d’un message, d’un texte, d’un document sonore
Compétences numériques :
– Domaine 2 : Communication et collaboration 2.2 Partager et publier 2.4 S’insérer dans le monde numérique
– Domaine 3 : Création de contenus 3.2 Développer des documents multimédia 3.3 Adapter les documents à leur finalité
– Domaine 4 : Protection et sécurité 4.1 Sécuriser l’environnement numérique 4.2 Protéger les données personnelles et la vie privée
– Domaine 5 : Environnement numérique 5.1 Résoudre des problèmes techniques 5.2 Évoluer dans un environnement numérique
Compétences transversales
– Savoir développer à l’écrit comme à l’oral une réflexion critique, structurée et étayée
– Savoir apprendre, travailler de manière autonome et s’auto-évaluer
– Savoir s’organiser, gérer son temps, prioriser et planifier son travail
– Savoir identifier ses acquis et faire preuve de créativité
– Savoir valoriser ses compétences / expériences et bâtir un sentiment d’efficacité personnelle
– Savoir contribuer à la compréhension critique du monde, en lien avec les grands défis de l’avenir

Étape 1: Comprendre la structure narrative d’une histoire

Objectifs :

→ Connaître les différentes parties d’une histoire de type récit, de la situation initiale au dénouement.

→ Acquérir du lexique analytique.

Cette première étape vise à présenter aux élèves les éléments principaux qui constituent une le schéma narratif d’un récit: « exposition, conflict, rising action, climax, falling action, resolution ».

Supports :

– Le support vidéo issu de la chaîne de « Khan Academy » sur YouTube a été passé à la moulinette de Digiview (outil de https://ladigitale.dev) pour deux raisons: l’outil permet de sélectionner une partie de la vidéo bien précise à donner aux élèves à regarder (et non pas l’intégralité de la vidéo) , il bloque l’apparition de tout message publicitaire.

https://ladigitale.dev/digiview/#/v/6624143fb8ea2

– Deux quizzes sont ensuite réalisés par les élèves pour vérifier leur compréhension des termes et différents « moments » de l’intrigue. Cette étape permet de revoir des notions également abordées dans le programme de français. L’outil de type « exerciseur » « Quizinière » du réseau Canopé a été utilisé pour les quizzes (reproduits ci-dessous avec H5P).

Ce quiz a été mis en partage dans la bibliothèque de Quizinière et peut etre récupéré par les enseignants inscrits (inscription gratuite avec une adresse académique) https://www.quiziniere.com/exercices/partage/6G548BM8VJ

  • Quiz 1:
  • Quiz 2

Étape 2: Comprendre des documents écrits ou audio et rendre compte de la trame de l’intrigue

Objectifs :

→ Identifier les différentes parties d’une histoire, de la situation initiale « exposition » au dénouement « resolution » ; comprendre comment ces éléments contribuent à la construction de l’intrigue.

→ Analyser les personnages, les paramètres, les conflits et les thèmes présentés dans chaque partie de l’histoire, en comprenant leur rôle dans le développement de l’intrigue.

→ Identifier les moments clés de l’histoire ; comprendre comment ils contribuent à la tension narrative et au développement des personnages.

→ Identifier et analyser les émotions, le ton, les points de vue

Supports :

Plusieurs supports sont utilisés lors de ces activités de réception :

– En compréhension de l’écrit:  » Prologue + Epilogue », Time Magazine, Special issue « Our Precious Planet », 27 Octobre 1997.

Il s’agit de deux documents authentiques publiés dans l’édition spéciale « Our precious Planet » de Time Magazine consacrée aux enjeux environnementaux du 21ème siècle. Edité par Charles Alexander, les première et dernière pages du magazine sont intitulées « Child of the Future : Prologue » et « Child of the Future: Epilogue ». Il s’agit de deux « récits pendants », écrits à la 3ème personne du singulier, au passé. Nous ne disposons malheureusement pas des droits pour reproduire ces documents.

Dans le prologue, un jeune garçon se réveille dans un monde où la nature est en déclin, l’atmosphère oppressante. Il rêve des forêts majestueuses et des rivières claires qui existaient autrefois et qu’il retrouve dans son livre préféré , mais ces merveilles semblent lointaines et presque irréelles. Il se sent privé des joies simples de la vie et lutte pour trouver de l’espoir dans un monde en difficulté.

Dans l’épilogue, une jeune fille se réveille dans un monde transformé. Elle a la chance de vivre dans une époque où la nature est préservée et célébrée. Elle se rend dans les grandes forêts avec sa famille, où elle peut profiter de la beauté naturelle et ressentir une profonde gratitude pour la terre qui les soutient. Elle se sent reconnaissante d’être en vie dans un monde où la nature est respectée et protégée.

Ces deux documents ont été travaillés en classe, en binôme, chaque élève recevant l’un des deux textes. Après avoir effectué individuellement les repérages usuels sur leur texte « Who, Where, When , What (actions – feelings) , Why, How, What for… », les binômes ont échangé pour résumer l’histoire en 6 étapes de la partie « exposition » à « resolution »: il s’agissait notamment de comprendre le lien possible entre les deux personnages (le jeune garçon, la jeune fille), de comprendre la chronologie des événements et d’identifier les oppositions et évolutions entre les deux histoires qui n’en forment finalement qu’une.

– En compréhension de l’oral : deux fichiers sonores de type « campagne de prévention » extraites de deux vidéos avec une même situation d’énonciation où un adulte raconte une histoire à des enfants sur le thème du réchauffement climatique. Une moitié de classe travaille sur le document sonore « Mzansi », l’autre sur « Act on CO2 ». Les élèves ont utilisé les tablettes de l’établissement pour accéder aux fichiers sonores via un QR code. Le son a été extrait de la vidéo par l’enseignant à l’aide du logiciel Audacity. Une alternative pour extraire le son est l’utilisation d’un outil en ligne comme https://audiomass.co. Le fichier est ensuite déposé par l’enseignant dans « Nuage » (https://portail.apps.education.fr/) puis partagé. Le lien de partage est transformé en QR Code à l’aide de l’application Digicode de ladigitale.dev.

Mzansi Video (seul le son est proposé à l’écoute)
https://www.youtube.com/watch?v=qxJr4IgOKHw

Act on CO2 Video (seul le son est proposé à l’écoute)
https://www.youtube.com/watch?v=0dOfBEm5DZU

– La fiche de travail ci-dessous est complétée par les élèves (on peut envisager un travail de groupe par 6, en assignant une étape à chaque membre de l’équipe). A ce stade, ils ne complètent pas les parties « Write a prompt to create an AI generated image »

Étape 3: Comprendre la mission: « Dear illustrator »

Objectifs :

→ Comprendre la mission

→ Tenir compte des contraintes pour la réalisation de la tâche finale.

La présentation de la mission permet de scénariser la suite de la séquence et d’établir la contrainte du recours à l’IA notamment.

La mission ancre l’activité dans la perspective actionnelle. Elle donne du sens à l’activité d’écoute du document sonore.

Support :

Le support proposé ci-dessous n’est pas un document authentique. Ce texte « mission » a été généré par l’enseignant avec ChatGPT, puis retravaillé, ce qui a permis un vrai gain de temps pour le professeur. Il ne s’agit pas d’étudier le texte en profondeur. Il peut en revanche être utilisé comme activité de médiation. « Vous êtes un jeune illustrateur actif, votre collègue francophone ne parle pas un mot d’anglais, vous lui expliquez en français l’essentiel de cet appel à projet » (commande, contraintes).

Étape 4: Comprendre l’intelligence artificielle générative

Objectifs:

→ Comprendre les bases du fonctionnement des IA génératives.

→ Acquérir du lexique en lien avec les concepts (data, deep fakes, hallucinations, …)

→ Sensibiliser aux enjeux éthiques de l’IA

Dans ce scénario, on demande aux élèves d’utiliser l’IA générative, il parait donc indispensable de leur apporter un minimum d’éléments sur cette technologie.

Supports :

La proposition ci-dessous s’appuie sur une vidéo de vulgarisation de la chaîne YouTube « AI Campus » . Pendant le visionnage, les élèves complétent une carte mentale pour vérifier la compréhension des concepts. La carte mentale est ensuite utilisée comme support d’une expression orale en continu « What is generative AI? » et d’échanges sur les enjeux éthiques que peuvent poser les IA génératives.

ou Version en ligne https://view.genial.ly/661edd74b70f700013642834

Étape 5 : Rédiger un prompt pour générer une image

Objectifs :

→ Comprendre la notion de « prompt » (requête)

→ Identifier les différents éléments d’un prompt

→ Acquérir du lexique en lien avec les styles d’images

→ Rédiger des prompts descriptifs pour illustrer les moments clés d’un récit

→ Générer des images avec l’IA

Supports :

Les trois supports ci-dessous visent à finaliser la fiche de l’étape 2 ( » Write a prompt to create an AI generated image ») et à permettre aux élèves de rédiger des prompts suffisamment détaillés pour illustrer les six parties de l’histoire .

– Présentation en ligne composée de dix images différentes générées par une IA, avec dix prompts différents illustrant toujours les deux mêmes personnages (« a polar bear and a little girl ») dans un même lieu (« on ice cap »), avec des styles, couleurs, atmosphères différents.

https://view.genial.ly/654806cc94f8a80011a7c932

– Quiz où les élèves identifient le prompt utilisé pour générer chaque image. Le quiz a été effectué sur « Quizinière ». Ce quiz a été mis en partage dans la bibliothèque de Quizinière et peut etre récupéré par les enseignants inscrits (inscription gratuite avec une adresse académique) https://www.quiziniere.com/exercices/partage/5G6932KBGQ. Il est reproduit ci-dessous avec H5p.

– Fiche « élève » à compléter pour rédiger les prompts qui généreront les six images illustrant les six étapes de l’histoire « Act on CO2 » ou « Mzansi ».

Cette fiche peut également être utilisée pour relever le vocabulaire utilisé dans les prompts du quiz et de la présentation en ligne.

Exemples d’images générées par les élèves:

Dans cet exemple, l’élève a illustré la situation initiale du fichier « Act on CO2 », et plus précisément la situation d’énonciation: un père raconte une histoire à son enfant sur un sujet grave.

« Generate a dad and his daughter laying in bed, reading a story. The book is old and ruined, the dad is very serious, the little girl is scared »

Dans cet autre exemple du même élève, l’image reflète une situation catastrophique.

« Generate with sepia style a ruined city destroyed by human activity and CO2 emissions »

Un autre élève a généré une image à la maison, mais n’a pas su la récupérer pour l’enregistrer, il a fait une photo de son ordinateur avec son téléphone.

 » Create a realistic photo of a forest destroyed and little girl who is afraid »

Enfin, cet autre élève s’est trompé de support et a voulu générer des images à la maison sur le premier document « Prologue » et a finalement produit un dessin réalisé à la main, en se justifiant.

« I tried to use the image AI with my prompt w[h]ich was « Create a realistic drawing illustrating a young boy reading a magic book of a great forest in a sad room with [a] air condtioner broken » but the images did not want to charge after 2 hours so I decided to draw »

Étape 6: Présenter son projet à l’oral (Évaluation)

Il s’agit ici d’une activité de prise de parole en continu de type « Monologue suivi » où les élèves présentent au grand groupe leur projet final.

Une trame leur est proposée pour préparer la prise de parole à partir de notes.

« Monologue suivi : donner des informations » est une nouvelle échelle du CECRL complémentaire de 2020 portant sur le fait d’expliquer longuement des informations à un destinataire. Même si le destinataire interrompt le monologue pour demander de répéter ou de clarifier, l’information donnée est nettement unidirectionnelle ; il ne s’agit pas d’un échange. Les notions clés concrétisées dans cette échelle sont les suivantes :

le type d’information : cela va de la simple description d’un objet et des instructions, en passant par des informations factuelles simples sur un sujet familier, à des procédures professionnelles ou académiques complexes ;

le degré de précision : cela va de simples descriptions, en passant par des explications assez précises de points importants, et d’une communication fiable d’informations détaillées, jusqu’à une claire distinction entre des idées, des concepts et des éléments qui se ressemblent beaucoup. 

Critères d’évaluation:

→ Degré de compréhension du récit: la situation initiale, les conflits, la chronologie narrative, les personnages, les thèmes, les émotions ou atmosphères…

→ Correction grammaticale et étendue lexicale de l’expression écrite dans les bulles et cartouches narratives de la BD, dans les prompts générés

→ Correction grammaticale, étendue lexicale, maîtrise phonologique lors de la présentation orale du projet

→ Cohérence et cohésion du propos oral / écrit

→ Bonus : + 2 pour l’esthétique globale (soin apporté à l’ouvrage)

Prolongement possible : Produire un comic strip et le partager

Cette étape initialement prévue n’a pas pu être finalisée pour des raisons de calendrier et de disponibilité d’une salle connectée.

Objectifs

→ Produire une planche de BD en 6 panneaux (vignettes) qui illustre les temps forts de l’histoire

→ Agencer les images générées et rédiger les textes de la BD (cartouches narratives, bulles)

→ Exporter et sauvegarder sa production.

Supports :

On pourra encourager l’utilisation de Digistrip (https://ladigitale.dev) pour que les élèves puissent présenter leur histoire sous forme d’une BD en six étapes. Ils pourront créer leur BD en insérant leurs images générées par l’IA et les augmenter de bulles et cartouches narratives.

Les élèves disposent de nombreux outils pour partager leur travail. Mais pour respecter le RGPD, on pourra leur proposer un espace sur NUAGE ou sur leur ENT.

Ci-dessous un exemple de réalisation (par l’enseignant) qui s’appuie sur le document « Mzansi » réalisé avec https://replicate.com/stability-ai/sdxl pour la géneration des images et l’outil Digistrip de ladigitale.dev

Les difficultés rencontrées pour la génération d’images

– Des contraintes de calendrier et de manque de temps disponible en demi- groupe dans une salle informatique connectée à internet ont contraint les élèves à générer les images à la maison.

– Le site initialement proposé (zoo.replicate.dev) a changé d’apparence et de fonctionnement , il s’agissait d’un site de type « playground », open source. Depuis la page d’accueil, il était alors possible de générer des images avec plusieurs modèles. L’utilisation était simple. L’outil n’est plus fonctionnel, il faut à présent se rendre sur la page https://replicate.com/home?utm_source=project&utm_campaign=zoo puis choisir son modèle. L’interface s’adresse à présent davantage à des développeurs mais des modèles sont encore accessibles, comme par exemple le modèle https://replicate.com/stability-ai/sdxl

– Le site https://dalle3.org qui peut être utilisé gratuitement sans création de compte est limité à dix images par jour. La plupart des outils disponibles requiert une identification avec création d’un compte et offrent davantage de générations gratuites. Dans ce cas, pour un usage en classe, il est recommandé d’utiliser le compte de l’enseignant.

– Des dizaines, pour ne pas dire des centaines d’outils font leur apparition depuis plusieurs mois en matière d’IA générative d’images. Face à un offre pléthorique en perpétuelle évolution, le choix d’un outil facilement accessible dans la cadre d’un usage pédagogique nous apparait déterminant pour le bon déroulement du projet.

Les plus-values du recours à l’IA générative d’image

– Les outils d’IA générative peuvent produire des images rapidement et facilement, ce qui permet aux élèves de concentrer davantage leur temps et leur énergie sur la compréhension du document plutôt que sur la création d’illustrations.

– Les modèles d’IA générative peuvent générer une grande variété d’images, selon des styles variés. Cela peut également encourager la créativité en offrant aux élèves un large éventail d’options pour représenter leur compréhension.

– La création de prompts pour générer une image offre une opportunité aux élèves de renforcer leurs compétences rédactionnelles. En rédigeant des instructions claires et concises pour générer des images, les élèves développent des compétences telles que la clarté de l’expression, la capacité à structurer des idées de manière logique, des compétences essentielles pour la communication écrite efficace dans tous les domaines d’étude.

– Pour certains élèves, dessiner peut être intimidant ou difficile. L’utilisation d’outils d’IA générative peut rendre le processus d’illustration plus accessible à un plus grand nombre d’élèves « non dessinateurs » et peut aussi favoriser l’inclusivité en classe.

– Les « hallucinations » et biais culturels des IA peuvent faire l’objet d’analyse critique et éthique.

Autres ressources utiles

  • Tutoriel à destination des élèves pour utiliser le modèle « Stability-Ai/sdxl » sur le site https://replicate.com

  • Dalle Prompt Book : Dossier de 82 pages en anglais pour l’aide à la rédaction de prompts : des conseils en terme d ‘esthétique, de langage émotionnel ; des guides sur la photographie, les styles de film, les styles d’illustration, l’histoire de l’art, l’art 3D, l’ingénierie des prompts, etc. https://dallery.gallery/the-dalle-2-prompt-book
  • Les ressources de Yan Houry @yannhoury , Directeur de l’innovation au lycée français de Hong Kong, partagées sur Twitter X au cours de l’année scolaire 2023-2024.

Ce contenu a été publié dans Numérique, Projets, Ressources pédagogiques, TRaAM, avec comme mot(s)-clé(s) . Vous pouvez le mettre en favoris avec ce permalien.