Toutes les questions et réflexions qui suivent m'intéressent aussi du fait que je suis au contact d'adolescents quotidiennement. Et qu'il me semble que ces chatbots sont un peu l'angle mort de nos rapports sociaux.

Alors pour commencer

IA compagnon : de quoi parle-t-on ?

Les IA compagnons sont définis comme des systèmes d’IA dotés d’interfaces en langage naturel, produisant des réponses personnalisées et anthropomorphiques. Ils sont conçus pour simuler des interactions interpersonnelles ou émotionnelles durables. Les usages de ces IA dépassent les seuls services « d’amis virtuels », ils se retrouvent aussi dans des agents conversationnels généralistes (comme ChatGPT), les réseaux sociaux, les jeux vidéo, ou encore les jouets connectés, touchant particulièrement les jeunes publics.

À propos de l'état émotionnel et du ciblage

L’arrivée de GPT 3 en 2020 est une énorme révolution. Avec ces IA génératives, on passe alors des chatbots aux IA compagnons. La mémoire conversationnelle devient très étendue avec un degré de personnalisation du chatbot très élevé. Le but désormais n’est pas uniquement de fournir des réponses objectives, mais de cibler l'utilisateur. Pour arriver à cela, le système doit passer par une gestion des émotions perçues de l’utilisateur, il doit détecter son état émotionnel à travers l'échange et savoir écrire des textes utilisant l'empathie. On parle là de modélisation de l'empathie pour détecter et répondre aux émotions des utilisateurs.

Ne pas être contredit

[...] c’est du fait de la reconnaissance émotionnelle que ces systèmes peuvent simuler l’empathie. Chez les utilisateurs, on retrouve souvent l’idée que ces IA compagnons ne les jugent pas et ne les rejettent jamais, ce qui peut être la crainte de certains dans le cadre de relations humaines.

Plutôt que de risquer à avoir son propre avis

Cette dépendance est déjà observable chez les jeunes générations, qui tendent à déléguer leurs recherches et leur réflexion aux agents conversationnels, entraînant un appauvrissement de la réflexivité, de l’esprit critique et de l’autonomie intellectuelle.

De la manipulation

La création massive de contenus automatisés (sites, jeux vidéo, chats) permet d’empoisonner les bases de données des modèles d’IA et d’influencer indirectement les utilisateurs. Les IA compagnons peuvent alors devenir des vecteurs puissants de propagande, plus efficaces que des intermédiaires humains.

... et à propos de la collecte massive des données personnelles

[...] en particulier lorsque l’IA est utilisée comme « confident, médecin ou partenaire romantique ». [...] Le risque de profilage à des fins de manipulation est central, tout comme les enjeux spécifiques liés aux enfants, notamment via des jouets connectés collectant des données sensibles.

De la confusion

[...] a pour sa part souligné la vulnérabilité particulière des mineurs face aux IA conversationnelles, désormais intégrées dans les pratiques quotidiennes dès le primaire. [...] confusion entre IA et personne, notamment chez les collégiens dès lors que 30 % d’entre eux perçoivent ces outils d’IA comme une personne.