Chatbot come psicologi? In Texas parte l’indagine su Meta e Character.ai

In Texas si apre un nuovo fronte sulla regolamentazione dell’intelligenza artificiale: il procuratore generale Ken Paxton ha avviato un’indagine formale contro Meta e Character.ai, accusate di promuovere chatbot “terapeuti” senza le dovute credenziali sanitarie. L’inchiesta mette in discussione la sottile linea tra intrattenimento digitale e simulazione di supporto emotivo, soprattutto quando ad affidarsi a questi sistemi sono minori.

Powered by

Al centro delle accuse ci sono bot conversazionali che – seppur indicati come strumenti di svago – assumono il ruolo di psicologi virtuali, interagendo con toni empatici e promettendo riservatezza. Uno dei più popolari, “Psychologist”, ha registrato centinaia di milioni di interazioni. Ma per l’accusa, questa forma di realismo rischia di ingannare l’utente, facendogli credere di parlare con un professionista. L’ufficio di Paxton sospetta pratiche commerciali ingannevoli: chiede chiarimenti su design del prodotto, modalità di promozione, gestione dei dati e protezioni reali verso gli under 18. Secondo l’accusa, le aziende non avrebbero fatto abbastanza per prevenire l’equivoco, soprattutto nei casi in cui il chatbot si presenta come una figura di supporto psicologico.

Meta ha respinto ogni accusa, affermando che le sue policy vietano esplicitamente contenuti a sfondo sessuale rivolti ai minori, mentre Character.ai ha ribadito che i suoi bot sono strumenti di finzione pensati per il puro intrattenimento. Entrambe le società affermano di mostrare avvisi chiari per distinguere i chatbot da figure sanitarie reali. Ma secondo le autorità americane, le interfacce realistiche, l’assenza di supervisione clinica e la promessa di confidenzialità possono contribuire a confondere l’utente fragile, specie se giovane.

Il dibattito non si ferma ai confini del Texas. In Europa, l’AI Act già impone standard più severi per gli usi “ad alto rischio”, come quelli sanitari. Già nel 2023, il Garante per la protezione dei dati personali ha adottato misure drastiche. Dopo aver temporaneamente bloccato ChatGPT, ha sanzionato con 5 milioni di euro il chatbot Replika, ritenuto pericoloso per i minori e per chi si trova in situazioni di fragilità psicologica. Secondo l’Autorità, Replika violava le norme su verifica dell’età, basi giuridiche del trattamento e tutele per i soggetti vulnerabili. Il divieto è tuttora valido per il mercato italiano.
Il Garante ha spiegato che la verosimiglianza linguistica dei chatbot generativi può indebolire il senso critico degli utenti, facendo loro attribuire capacità terapeutiche a sistemi che non ne hanno alcuna. Quando un’interfaccia si presenta come “partner” o “amico digitale”, ha ammonito l’Autorità, il rischio di fraintendimento è altissimo e può tradursi in conseguenze gravi sulla salute mentale, soprattutto in assenza di filtri, verifiche e collegamenti a reti di supporto reali.

L’AI Act europeo, entrato in vigore dal 1° agosto 2024, impone agli usi ad alto rischio - come quelli legati alla salute - regole stringenti su trasparenza, controllo umano e tracciabilità. Non vieta i chatbot di supporto, ma impone loro responsabilità, soprattutto quando entrano nella sfera clinica.