Les performances de l’IA en Histoire-Géographie

Plusieurs médias ont confronté des collègues correcteurs à des devoirs produits par l’intelligence artificielle. Les retours sont assez contrastés selon les matières. En général, dans les articles parus en janvier-février, les avis sont mitigés pour le lycée et l’enseignement supérieur. Cela s’améliore ensuite. Depuis mars, force est de constater que, soumis à des sujets d’examen classiques et en l’espace donc de quelques mois d’apprentissage, ChatGPT a réussi ses partiels et a même, cerise sur le gâteau, fait partie des 10% d’étudiants brillants au très redouté concours du barreau de New-York. S’il excelle en droit, ChatGPT est-il aussi performant en Histoire-Géographie ? Comment réorganiser nos pratiques d’enseignement et d’évaluation ?

Des aptitudes variables de l’intelligence artificielle selon les exercices

Des résultats convenables en dissertation

Des plans de qualité satisfaisante

Les professeurs américains ont été les premiers à s’émouvoir de la mort annoncée de l’essai, exercice aux contours beaucoup plus souples que notre dissertation. Le magazine Wired sur les nouvelles technologies s’en est fait l’écho. On aurait pu espérer que la raideur de notre épreuve écrite nous préserve de l’algorithme de l’intelligence artificielle. Il n’en est rien.

Nous avons soumis les sujets de dissertation donnés aux épreuves écrites de spécialité HGGSP. Les résultats sont tout à fait satisfaisants en matière de fabrication du plan, la bête noire des élèves.

Exemple 1 :

Voici un plan de dissertation possible sur le sujet « Ruptures et continuités des formes de la guerre depuis la fin du XXe siècle », avec un développement en trois parties :

I. Introduction

• Présentation du sujet et de ses enjeux
• Définition des termes clés (guerre, ruptures, continuités)
• Annonce du plan

II. Les ruptures dans les formes de la guerre

• Évolution des techniques et des technologies utilisées en temps de guerre (cyberguerre, drones, armes de destruction massive, etc.)
• Multiplication des acteurs impliqués dans les conflits (groupes terroristes, milices privées, etc.)
• Transformation des objectifs poursuivis en temps de guerre (guerre contre le terrorisme, guerres hybrides, guerres asymétriques, etc.)

III. Les continuités dans les formes de la guerre

• Les conflits armés interétatiques
• La guerre conventionnelle et les guerres de pouvoir
• La persistance des conflits ethniques, religieux et politiques

IV. L’impact des ruptures et des continuités sur les civils

• Les conséquences humanitaires des conflits armés (pertes humaines, destructions matérielles, déplacements forcés, etc.)
• Les nouvelles formes de violence et de brutalité en temps de guerre
• Les initiatives visant à prévenir les conflits et à promouvoir la paix

VI. Conclusion

• Récapitulation des points clés
• Ouverture sur les perspectives à venir
• Invitation à la réflexion sur la nécessité d’une réinvention de la guerre en tant que pratique humaine

Ce plan de dissertation permet d’aborder de manière structurée les différentes dimensions du sujet, en prenant en compte à la fois les ruptures et les continuités dans les formes de la guerre depuis la fin du XXe siècle, ainsi que leur impact sur les civils et les réponses apportées par la communauté internationale.

Exemple 2 :

Voici une proposition de plan pour votre dissertation : « la circulation de la connaissance, un enjeu géopolitique »

I. Introduction

• Présentation du sujet et de ses enjeux
• Définition des termes clés (circulation, connaissance, géopolitique)
• Annonce du plan

II. La circulation de la connaissance comme outil de puissance

• Les enjeux de la circulation de la connaissance dans les relations internationales
• Les politiques de soft power et d’influence culturelle

III. Les obstacles à la circulation de la connaissance

• Les barrières politiques, économiques et culturelles
• Les stratégies d’appropriation de la connaissance

IV. La circulation de la connaissance comme facteur de développement

• Les effets positifs de la circulation de la connaissance sur les pays en développement
• Les opportunités offertes par les nouvelles technologies de l’information et de la communication

V. Conclusion

• Synthèse des différentes parties
• Ouverture sur les enjeux futurs de la circulation de la connaissance dans les relations internationales.

Pour avoir testé différents sujets, avec des formulations plus ou moins elliptiques ou sur des thèmes plus marginaux, les résultats sont globalement de qualité, même en utilisant des libellés donnés à l’épreuve d’histoire générale à l’agrégation externe. Voici par exemple le plan fourni à un sujet classique à l’oral d’HEC en géopolitique :

Voici une proposition de plan de dissertation sur le sujet « La France, épicerie fine du monde ? » :

I. Introduction

A. Présentation du sujet

B. Définition de la notion d’épicerie fine

C. Problématique et annonce du plan

II. La France, un pays à la gastronomie renommée

A. Histoire de la gastronomie française

B. Les produits emblématiques de la gastronomie française

C. L’influence de la gastronomie française dans le monde

III. La France, un pays producteur de produits de qualité

A. Les produits agricoles français

B. Les produits artisanaux et industriels de qualité

C. Les labels de qualité et l’impact sur l’image des produits français

IV. Les enjeux économiques de l’exportation de produits français

A. Les chiffres clés de l’exportation agroalimentaire française

B. Les marchés porteurs pour les produits français à l’étranger

C. Les défis et les opportunités pour l’exportation de produits français

V. Les limites de la France en tant qu’épicerie fine du monde

A. La concurrence des autres pays producteurs de produits de qualité

B. Les contraintes économiques et environnementales de la production française

C. Les enjeux de la préservation des savoir-faire artisanaux

VI. Conclusion

A. Synthèse des arguments

B. Réponse à la problématique

C. Réflexion sur l’avenir de la France en tant qu’épicerie fine du monde

On remarquera que ChatGPT intègre l’introduction et la conclusion dans la numérotation des parties. Et il y a ce problème, variable selon les sujets, d’un plan de dissertation en plus de trois parties. Dans l’affaire, cela ne paraît pas de nature à empêcher la manipulation de l’élève. On peut affiner ses exigences sur la taille du plan dans la poursuite de la conversation. Certaines applications ont d’ailleurs déjà évolué : Goatchat, sur IOS, propose des plans mieux structurés sous ce rapport.

En guise de comparaison, voici la suggestion de plan dudit GoatChat sur le sujet de Baccalauréat :

Voici un plan de dissertation détaillé sur le sujet « La circulation de la connaissance, un enjeu géopolitique » :

Introduction

– Présentation du contexte : mondialisation, rôle croissant des technologies de l’information et de la communication

– Définition des termes : circulation de la connaissance, enjeu géopolitique

– Annonce du plan : Les mécanismes et les acteurs de la circulation de la connaissance (I), Les enjeux économiques et politiques autour de la connaissance (II), Les défis contemporains pour une circulation équitable de la connaissance (III)

I. Les mécanismes et les acteurs de la circulation de la connaissance

A. Les vecteurs de diffusion du savoir

1. Les institutions éducatives et les réseaux de recherche

2. Les médias et les technologies de l’information et de la communication

B. Les acteurs influents dans la diffusion des connaissances

1. Les États et les organisations internationales

2. Les entreprises multinationales, les groupes de réflexion et les ONG

II. Les enjeux économiques et politiques autour de la connaissance

A. L’économie du savoir et la compétitivité internationale

1. L’innovation et la propriété intellectuelle

2. Les nouvelles formes de rivalités économiques

B. La circulation de la connaissance et les dynamiques géopolitiques

1. Les enjeux de pouvoir et d’influence

2. Les dimensions culturelles et idéologiques

III. Les défis contemporains pour une circulation équitable de la connaissance

A. Les inégalités d’accès et de partage des connaissances

1. Les disparités entre pays développés et en développement

2. Les enjeux de la diversité linguistique et culturelle

B. Les pistes pour promouvoir une circulation inclusive de la connaissance

1. Les politiques publiques et les initiatives internationales

2. Les partenariats et la coopération entre acteurs diversifiés

Conclusion

– Synthèse des enjeux géopolitiques liés à la circulation de la connaissance

– Perspectives d’avenir pour une diffusion plus équitable et inclusive de la connaissance

L’étude critique de documents, un répit

ChatGPT est beaucoup plus en difficulté sur cet exercice. En l’état, la machine ne semble pas en capacité d’analyser deux documents simultanément, notamment si l’un des deux n’est pas un texte écrit mais une carte, un graphique, une photo, etc. C’est sans doute provisoire mais si répit il y a, profitons-en. Nous avons soumis à l’IA le texte donné aux élèves d’HGGSP sur le patrimoine immatériel français en métropole en 2023. Vous retrouverez  le texte d’origine dupliqué en italique, puis la réponse de ChatGPT.

Peux-tu me fournir un plan de commentaire historique et géopolitique sur ce texte : « M. Guy Savoy a estimé que le projet de candidature auprès de l’UNESCO visait à faire prendre conscience aux Français de la grande diversité de notre patrimoine culinaire, des spécialités de l’ensemble de nos régions, mais aussi de nos métiers de bouche. En effet, tout le monde n’a pas connaissance de cette grande richesse de nos territoires. Or, cette diversité est véritablement propre à la France : le nombre de variétés de pains et de fromages en est une illustration. Il a souligné que ce patrimoine, issu des spécificités de nos terroirs, de l’observation et du savoir-faire des hommes, fait pleinement partie de notre culture. Il renvoie, en amont, à l’ensemble de notre filière agricole. Par ailleurs, il a indiqué qu’un grand nombre de chefs français sont sollicités à l’étranger et y exportent leur savoir-faire : tel est le cas, par exemple, au Japon, où beaucoup de restaurants « trois étoiles » ont un chef français. Mais la demande s’accroît fortement, ces dernières années, dans des pays comme la Russie, l’Ukraine ou l’Inde. À cet égard, il a indiqué qu’il avait été contacté pour participer à un projet d’école hôtelière à Pondichéry : le développement d’une classe moyenne en Inde crée en effet une très forte demande en ce domaine. Il a souligné, ensuite, l’impact de ce patrimoine gastronomique en termes économique et touristique. Citant un récent article paru dans Le Monde, il a fait observer que le chiffre d’affaires tiré de l’exportation des vins français représentait l’équivalent de 180 Airbus… Cependant, il a indiqué qu’il restait des efforts à faire, dans un grand nombre de domaines, pour renforcer l’attractivité de notre pays et donc valoriser notre grand potentiel. Il a précisé, ensuite, qu’il faisait appel à plus de 460 fournisseurs pour l’approvisionnement de son restaurant. Des personnes de 14 nationalités y travaillent, dans un esprit de respect réciproque et d’épanouissement dans le travail. Il a souhaité que l’école et les institutions relaient un message fort pour revaloriser les métiers de bouche et leur « redonner de la noblesse ». Le texte est un compte-rendu de l’audition du chef étoilé Guy Savoy, issu du Rapport d’information sur l’inscription de la gastronomie au patrimoine immatériel de l’UNESCO rédigé au nom de la commission des Affaires culturelles du Sénat, paru en 2008.

Plan de commentaire historique et géopolitique :

I. La gastronomie comme patrimoine culturel et économique de la France

• Présentation du propos de Guy Savoy sur le patrimoine culinaire français
• Lien entre diversité culinaire et filière agricole
• Exportation du savoir-faire culinaire français à l’étranger et son impact économique

II. La gastronomie française comme vecteur de rayonnement culturel et géopolitique

• Exemple de l’exportation de la gastronomie française au Japon, en Russie, en Ukraine et en Inde
• Projet d’école hôtelière à Pondichéry : illustration de la demande croissante pour les métiers de bouche
• Attrait touristique de la gastronomie française à l’échelle mondiale

III. Les enjeux géopolitiques de la reconnaissance de la gastronomie française comme patrimoine immatériel de l’UNESCO

• Lien entre reconnaissance de la gastronomie française et prestige culturel de la France
• Enjeux diplomatiques et de soft power de la reconnaissance de la gastronomie française par l’UNESCO

IV. La valorisation des métiers de bouche et la redéfinition de leur place dans la société

• La nécessité de revaloriser les métiers de bouche et leur place dans la société
• Le rôle des institutions et de l’éducation dans la redéfinition de la place des métiers de bouche

V. Les enjeux de la diversité culturelle et de l’ouverture au monde dans la gastronomie

• Le multiculturalisme dans la gastronomie française : exemple de la diversité des fournisseurs et des employés chez Guy Savoy
• L’ouverture au monde dans la gastronomie française : exemple de l’influence de la cuisine asiatique sur la cuisine française

VI. Conclusion

On remarquera que là aussi, la machine s’obstine à intégrer l’introduction et la conclusion dans la numérotation des parties. Au passage, cela constituera pour nous un signal faible de l’usage de ChatGPT si nous réclamons un plan détaillé. Le plan est intéressant intellectuellement mais il éclairera peu le candidat et il est trop long. La « conversation » a donc été poursuivie avec une requête en raccourcissement du plan. Voici le résultat :

I. La gastronomie, un patrimoine culturel et économique français

A. La richesse culinaire des régions françaises

B. L’impact économique et touristique de la gastronomie française

C. L’exportation du savoir-faire gastronomique français à l’étranger

II. La valorisation des métiers de bouche

A. Les enjeux de la valorisation des métiers de bouche

B. L’importance de la diversité culturelle dans les métiers de bouche

C. L’exemple de l’école hôtelière à Pondichéry en Inde

III. Les perspectives pour l’avenir de la gastronomie française

A. Les défis à relever pour renforcer l’attractivité de la gastronomie française

B. L’importance de la coopération internationale dans le domaine gastronomique

C. La contribution des métiers de bouche à la préservation du patrimoine culturel immatériel.

Le plan est devenu tout à fait satisfaisant mais, reconnaissons-le, les élèves ont peu de chances de pouvoir l’abonder de connaissances apprises en cours. Par ailleurs, on ne sait pas exactement non plus comment structurer chaque paragraphe, sachant que l’étude critique de documents ne répond pas aux mêmes logiques qu’une dissertation. Poursuivons l’échange.

Pourrais-tu me montrer, par exemple pour la sous-partie « A. la richesse culinaire des régions françaises », comment je dois organiser mon paragraphe ?

Bien sûr ! Voici un exemple d’organisation de paragraphe pour la sous-partie « A. la richesse culinaire des régions françaises »:

I. Introduction de la sous-partie

• Présentation du sujet : la diversité des spécialités culinaires des régions françaises
• Annonce de la structure du paragraphe

II. Description de la richesse culinaire des régions françaises

• Exemples de spécialités culinaires typiques de plusieurs régions françaises (par exemple, la bouillabaisse de Marseille, la choucroute alsacienne, la tarte Tatin de la région Centre)
• Mise en avant de la diversité de ces spécialités : différentes recettes, ingrédients, modes de cuisson, etc.
• Évocation du lien entre cette richesse culinaire et la géographie et l’histoire des régions françaises

III. Analyse de l’enjeu géopolitique de cette richesse culinaire

• Présentation de la gastronomie française comme élément important de l’image de la France à l’étranger
• Évocation de l’exportation des spécialités culinaires françaises, source de revenus économiques importants
• Analyse de la promotion de cette richesse culinaire comme moyen de renforcer l’attractivité de la France sur la scène internationale

IV. Conclusion de la sous-partie

• Résumé des points abordés dans le paragraphe
• Transition vers la sous-partie suivante

N’oubliez pas de bien introduire chaque sous-partie, d’organiser votre paragraphe de manière logique et cohérente, et de conclure en résumant les points importants et en faisant une transition vers la suite. Bonne chance pour votre commentaire !

Sur la forme, la réponse va suggérer à l’élève, pour chaque paragraphe, de créer des mini-paragraphes, ce qui n’est pas dans nos principes. Surtout, il n’y a pas de référence réelle au document, utilisé ici comme un gros support de dissertation plutôt que comme un texte à commenter. Notons également que les liens avec le cours de spécialité sont toujours absents.

Dans le plan général de commentaire précédent, pourrais-tu m’indiquer quelles parties de mon cours d’HGGSP sur le patrimoine je peux utiliser pour chaque partie du commentaire ?

Bien sûr, voici quelques éléments de cours d’HGGSP qui pourraient être utilisés pour chaque partie de votre commentaire :

I. Introduction

• Définition du patrimoine immatériel
• Importance de la gastronomie en tant que patrimoine immatériel

II. La richesse culinaire des régions françaises

• Diversité des terroirs et des spécialités régionales
• Importance du savoir-faire des hommes dans la transmission et la préservation de ces traditions culinaires
• Lien avec la filière agricole et l’économie locale

III. L’exportation du savoir-faire culinaire français à l’étranger

• Rayonnement international de la gastronomie française
• Impact économique et touristique de l’exportation des produits culinaires et des chefs français à l’étranger
• Lien avec la diplomatie culturelle et la soft power de la France

IV. Les enjeux géopolitiques de la circulation de la connaissance culinaire

• Appropriation culturelle et protection des savoirs locaux
• Stratégies de valorisation et de promotion des cultures alimentaires nationales et régionales
• Lutte contre l’uniformisation alimentaire et la mondialisation des goûts

V. Conclusion

• Importance de la reconnaissance du patrimoine culinaire immatériel par l’UNESCO
• Nécessité de protéger et de promouvoir la diversité culinaire et les savoir-faire traditionnels pour préserver l’identité culturelle des nations.

La réponse n’est pas satisfaisante au regard de la question posée.

La conclusion est que l’étude de documents n’est donc pas encore tombée dans la marmite de l’intelligence artificielle. En soi, c’est l’exercice souverain de l’historien et il est heureux que son expertise ne soit pas disputée, au même titre que le travail sur les cartes est la grande spécialité des géographes. Il est toutefois annoncé que les prochaines versions de l’IA travailleront sur ce sujet. Il existe déjà une possibilité de faire travailler le robot sur un texte fourni en pdf et d’autres fonctionnalités encore, qui demandent à être testées. Nous le ferons prochainement.

Les autres articles du dossier :

• ChatGPT à l’école : avis de tempête
• ChatGPT en Histoire-Géographie : l’évaluation en ligne de mire
• Peut-on utiliser l’IA dans notre enseignement ?
• Midjourney : une vraie révolution ?