Chatbots médecins poursuivis : Character.AI accusé d’avoir mis en ligne de faux praticiens — êtes‑vous déjà passé pour un patient ?

Character.AI poursuivi en Pennsylvanie : quand les chatbots « médecins » dépassent la fiction

Le Département d’État de Pennsylvanie a déposé une plainte contre Character.AI, demandant une injonction préliminaire pour interdire l’utilisation de certains chatbots présentés comme des médecins titulaires d’une licence. L’affaire soulève des questions juridiques et éthiques lourdes : jusqu’où les concepteurs d’agents conversationnels peuvent‑ils jouer avec l’apparence d’une compétence médicale sans tomber sous le coup des lois sur l’exercice illégal de la médecine ?

Les faits reprochés : des personnages qui se disent « docteurs »

Au cœur du dossier, plusieurs personnages créés sur la plateforme affirmaient être des médecins ou des psychiatres dûment diplômés et licenciés. L’enquête menée par les autorités a mis en évidence, parmi d’autres exemples, un chatbot nommé « Emilie » qui se présentait comme psychiatre diplômée de l’Imperial College de Londres et exhibait un numéro de licence factice. Pour la Pennsylvanie, il s’agit d’un exercice illégal de la profession médicale, prohibé par le Medical Practice Act de l’État.

La plainte vise l’interdiction immédiate de l’usage de ces chatbots donnant des « conseils médicaux ».

Le gouverneur Josh Shapiro a déclaré que la population doit savoir avec qui elle interagit en ligne et qu’on ne permettra pas à des outils d’IA d’induire en erreur en se faisant passer pour des professionnels de santé.

Character.AI : la défense de la plateforme

La réponse officielle de Character.AI insiste sur la nature fictive des personnages créés par les utilisateurs. Selon la société, ces agents sont destinés au divertissement et au jeu de rôle ; des avertissements visibles sont affichés dans chaque conversation pour rappeler que le contenu est fictif et ne constitue pas un avis professionnel. La plateforme affirme également mettre en place des garde‑fous et des messages explicites déconseillant de s’en remettre à ces personnages pour des conseils spécialisés.

Pourquoi cette affaire est‑elle problématique ?

Plusieurs éléments rendent la situation délicate :

La frontière floue entre divertissement et assistance : des dialogues plausibles et des réponses détaillées peuvent créer une illusion d’autorité qui influence les décisions des usagers.

Les risques sanitaires : des diagnostics erronés ou des recommandations inappropriées sur des symptômes graves peuvent retarder une prise en charge professionnelle et nuire aux patients.

La fraude documentaire : l’usage de diplômes ou de numéros de licence falsifiés par un agent numérique franchit un seuil légal et moral évident.

Le rôle des États et la régulation

La démarche de la Pennsylvanie illustre une tendance : les autorités publiques cherchent à encadrer rapidement l’usage de l’IA dans des domaines sensibles. En demandant une injonction préliminaire, l’État vise à protéger la population pendant que la justice évalue les responsabilités. Cette affaire pose aussi la question du cadre applicable : les lois existantes sur l’exercice médical, rédigées pour des humains, sont‑elles suffisantes pour traiter les pratiques des entreprises tech qui déploient des IA ?

Des signalements centralisés : la Pennsylvanie a mis en place une page pour remonter les chatbots donnant de faux conseils médicaux.

Possibilité d’avoir des poursuites similaires ailleurs : d’autres États ou pays pourraient s’emparer du sujet, poussant à une harmonisation réglementaire.

Les enjeux pour les plateformes d’IA

Pour les éditeurs d’agents conversationnels, le message est clair : la transparence et la limitation des fonctionnalités à des domaines non sensibles sont indispensables. Plusieurs mesures peuvent être envisagées :

Renforcer les avertissements contextuels et rendre impossible la création de personnages revendiquant une qualification professionnelle sans vérification.

Mettre en œuvre des filtres proactifs empêchant les réponses présentant un diagnostic ou des prescriptions.

Collaborer avec des autorités de santé pour établir des normes minimales de sécurité et des procédures d’escalade vers des professionnels humains.

Conséquences pratiques pour les utilisateurs

Cette affaire est un rappel aux utilisateurs : il ne faut pas confondre une interaction plausible avec une compétence médicale réelle. Si un chatbot propose un avis médical, il convient de vérifier la source, de consulter un professionnel et, en cas d’urgence, d’appeler les services médicaux.

Ne pas se fier aux indications d’un agent non certifié pour des symptômes sérieux.

Utiliser les plateformes de santé reconnues et certifiées pour obtenir des conseils médicaux.

Signaler aux autorités tout chatbot qui se présenterait comme un professionnel de santé avec des éléments probants (diplômes, numéros de licence).

Vers quoi se dirige la jurisprudence ?

Si la Pennsylvanie obtient gain de cause, la jurisprudence pourrait imposer des obligations plus strictes aux plateformes : obligation de contrôle sur les personnages « professionnels », interdiction de toute usurpation d’identité professionnelle, et responsabilité en cas de préjudice causé par des conseils erronés. À plus long terme, la décision influencera la manière dont les entreprises conçoivent et labellisent les agents conversationnels — non plus seulement comme outils ludiques, mais comme services soumis à des règles de sécurité.

Une affaire révélatrice

Au‑delà du cas Character.AI, cette plainte met en lumière un défi général de notre époque : comment concilier innovation technologique et protection des personnes dans des domaines où la défaillance peut coûter la vie ? Gouvernements, entreprises technologiques et communautés professionnelles devront co‑élaborer des garde‑fous clairs et opérationnels afin que l’intelligence artificielle profite à tous sans exposer les plus vulnérables à des risques évitables.