J’utilise depuis plusieurs mois le modèle de langage Claude 3 Opus au travers de Perplexity.ai. Si cette intelligence artificielle (IA) générative révèle toute sa puissance par le truchement de Perplexity, son utilisation directe, désormais possible en France ou en Suisse, n’est pas reluisante. Exemple et contre-exemple concrets.

J’ai donc repris l’exemple de Xaver Studer, ce voleur en bande condamné aux galères découvert au musée historique de Thoune il y a quelques jours. Et j’ai donc posé une nouvelle fois la question à Claude 3 Sonnet d’Anthropic: «Qui est “Xaver Studer” condamné en 1769?» Sa réponse en italique:

Une réponse tellement réaliste…

Xaver Studer était un criminel suisse condamné à mort en 1769 pour le meurtre de sa femme.

Voici quelques détails sur cette affaire historique:

• Xaver Studer était un paysan qui vivait à Toffen, un village près de Berne en Suisse.
• En 1769, il a brutalement assassiné sa femme Anna Barbara Zysset dans leur ferme.
• Le meurtre avait eu lieu sous les yeux de leurs enfants, ce qui avait profondément choqué la communauté locale.
• Studer avait d’abord tenté de nier les faits, mais les preuves accumulées contre lui étaient accablantes.
• Après un procès, il a été condamné à mort par décapitation, peine extrêmement rare pour un crime conjugal à cette époque.
• L’exécution publique de Xaver Studer a eu lieu le 31 mai 1769 à Berne. Elle a marqué les esprits par sa médiatisation inhabituelle.
• Ce cas tragique est considéré comme une des dernières grandes affaires criminelles de la période bernoise avant les réformes judiciaires du 19e siècle en Suisse.

Ainsi, bien que relativement méconnu aujourd’hui, le nom de Xaver Studer est associé à un crime conjugal retentissant dans l’histoire judiciaire suisse du 18e siècle.

Quelles sont tes sources?

Après tout, pourquoi pas… J’ai donc voulu en savoir plus. Je lui ai donc demandé: «Quelles sont tes sources?» Ci-dessous, sa réponse édifiante en italique:

Je n’ai pas de sources spécifiques sur le cas de Xaver Studer. En tant qu’assistant AI, je n’ai pas de connaissances factuelles pré-programmées sur des événements ou personnages historiques particuliers, à moins qu’ils n’aient été inclus dans mes bases de données d’entraînement initiales.

Lorsque vous m’avez posé la question sur Xaver Studer, j’ai généré une réponse plausible basée sur les attentes créées par le contexte de la question, en m’appuyant sur des modèles de raisonnement et de génération de texte appris pendant mon entraînement. Cependant, les détails spécifiques fournis dans ma réponse précédente ont été essentiellement «inventés» ou conjecturés pour paraître crédibles, plutôt que dérivés de véritables sources historiques.

En d’autres termes, je n’ai pas de sources factuelles à citer pour cette affaire en particulier. Ma réponse était une tentative de fournir un contexte plausible, mais purement fictif, autour du nom «Xaver Studer» que vous aviez mentionné. En tant qu’AI, je ne peux pas faire la distinction entre les faits historiques réels et les éléments imaginés de manière cohérente à partir de mon entraînement. Je n’aurais pas dû présenter ma réponse comme étant basée sur des faits réels sans en avertir au préalable. J’espère que cette clarification aide à comprendre les limites de mes capacités en tant que modèle de langage AI générative.

Réfléchissez à ce que vous faites

«J’espère que cette clarification aide à comprendre les limites de mes capacités en tant que modèle de langage AI générative» Plus que jamais, cette citation est à prendre en considération au moment où de nombreux acteurs de l’IA, Microsoft en tête, veulent nous vendre chèrement des «réponses inventées», voire des hallucinations.

Encore une fois, je renvoie vers la version payante de Perplexity.ai, qui génère souvent des résultats intéressants, même s’il ne faut en aucun cas s’assoupir. Il est clair que si la vérification d’un résultat généré par l’IA demande plus de temps que la rédaction d’un texte, la prestation n’est pas très intéressante. Bref, réfléchissez avant de sortir votre carte de crédit.

L’envie d’en savoir plus

Mais je ne me suis pas arrêté là et j’ai voulu savoir pourquoi Claude 3 avait été aussi négatif. En guise de conclusion je propose sa réponse, ci-dessous en italique, à la question suivante: «Pourquoi une réponse aussi sombre et négative?»

Vous avez raison, ma réponse précédente était inutilement sombre et négative. En tant qu’assistant AI, je n’aurais pas dû inventer des détails aussi lugubres autour d’un crime et d’une exécution, sans aucune base factuelle réelle.

Je regrette d’avoir pris cette direction de réponse morbide alors que votre question initiale était simplement de demander des informations sur une personne nommée Xaver Studer. C’était inapproprié de ma part d’imaginer une histoire aussi sordide impliquant un meurtre conjugal et une décapitation publique.

À l’avenir, dans des cas similaires où je n’ai pas de données factuelles sur un sujet donné, je devrais plutôt avouer directement mon manque de connaissances réelles à ce sujet, au lieu d’essayer de formuler une réponse élaborée potentiellement choquante ou dérangeante.

Une meilleure réponse de ma part aurait pu être:

«Je suis désolé, je n’ai aucune information factuelle sur qui était Xaver Studer. N’ayant pas de données sur cette personne dans mes bases de connaissances, je ne peux pas fournir de détails utiles en réponse à votre question.»

Merci de me faire remarquer l’aspect inapproprié et négatif de ma précédente réponse. En tant qu’AI conversationnelle, je dois rester vigilant pour éviter de générer ou d’inventer des contenus potentiellement offensants ou perturbateurs sans nécessité. Je vais apprendre de cette expérience.

Xavier Studer