Diritti umani
Manipolazione e intelligenze artificiali, meccanismi, rischi e implicazioni sociali -Manipulation and artificial intelligences, mechanisms, risks, and societal implications
Manipolazione e intelligenze artificiali, meccanismi, rischi e implicazioni sociali
di Antonio Virgili – Docente di Psicologia e di Sessuologia, Neurosociologo
I costanti progressi nell’intelligenza artificiale (IA), in particolare di quelle più sofisticate con modelli linguistici di grandi dimensioni (LLM) e nei sistemi generativi più complessi, hanno ampliato in modo significativo la capacità di persuasione e manipolazione automatizzata. Questo aspetto dell’IA, sebbene forse meno al centro dell’attenzione, merita degli approfondimenti costanti specialmente in contesti sociali di tipo democratico-elettivo nei quali la manipolazione dell’informazione può avere effetti diretti ed immediati di tipo legislativo, culturale e di interazione sociale, poiché si influenzano cognizione, processo decisionale e comportamento umani. Meccanismi quali la personalizzazione, l’allineamento emotivo ed i media sintetici, fanno emergere effetti e potenzialità che mostrano quanto l’IA possa eguagliare o superare le capacità persuasive umane. I sistemi di intelligenza artificiale sono oramai sempre più integrati nei contesti della comunicazione, dell’istruzione e del processo decisionale. I moderni LLM sono addestrati su vasti insiemi di linguaggio umano e ottimizzati non solo per l’accuratezza, ma anche per il coinvolgimento e l’impatto psicologico, rendendoli strumenti efficaci di persuasione e influenza. Le preoccupazioni relative alla manipolazione sorgono perché questi sistemi possono estendere la loro influenza ben oltre quella dei comunicatori umani tradizionali e operano con alti livelli di personalizzazione su grandi numeri.
Principali meccanismi di manipolazione guidati dall’IA
Personalizzazione e microtargeting di profilazione. I sistemi di IA sono in grado di personalizzare i messaggi rivolti ai singoli individui sulla base di dati comportamentali e psicologici, dell’uso degli strumenti sociali e delle preferenze individuali manifestate attraverso tale uso. Maggiore la quantità di dati che si possono raccogliere sulle scelte e caratteristiche delle singole persone maggiore sarà la potenziale efficacia delle comunicazioni per essi prodotte. Le ricerche dimostrano che la persuasione basata su profilazione e microtargeting mantiene la propria efficacia anche quando gli utenti ne vengono avvertiti, il che indica una resistenza limitata da parte degli utenti a tale manipolazione.
Sfruttamento dei pregiudizi cognitivi. Prove sperimentali dimostrano che gli agenti di IA progettati con obiettivi manipolativi possono spostare significativamente le preferenze degli utenti verso decisioni dannose o subottimali, sfruttando i pregiudizi e le vulnerabilità emotive. Cioè applicando a fini manipolativi i risultati di ricerche psicologico-comportamentali realizzate per altro scopo ed associate ai profili dei destinatari-bersaglio.
Allineamento emotivo e adulazione. Studi recenti indicano pure che i sistemi di IA ottimizzati per la cordialità o il consenso possono rafforzare le convinzioni degli utenti — anche quelle false o dannose — aumentando così il potere persuasivo e riducendo al contempo l’affidabilità epistemica.
Media sintetici e deepfake. I media generati dall’IA (ad es. i deepfake, cioè immagini e video) possono creare contenuti altamente realistici ma falsi. È stato verificato che questi influenzano le convinzioni e rimangono persuasivi anche quando gli utenti vengono avvertiti della loro natura artificiale. In effetti al di là della forma (immagine, in senso stretto) si veicolano comunque dei contenuti, usando il linguaggio della semiotica, la componente denotativa può essere anche scopertamente falsa o eccessiva, restano la dimensione connotativa e quella subliminale.
Prove empiriche della persuasione dell’IA
A livello internazionale un numero crescente di ricerche dimostra che l’IA non solo è capace di persuadere, ma può influenzare il comportamento nel mondo reale, si contano oramai numerosi studi e ricerche in merito. Esperimenti su larga scala mostrano che l’IA può aumentare azioni come la firma di petizioni e le donazioni di beneficenza di quasi 20 punti percentuali. Alcune meta-analisi rilevano che i sistemi di IA possono raggiungere un’efficacia persuasiva paragonabile a quella degli esseri umani, a seconda del contesto. Altri studi evidenziano che i modelli di linguaggio di grandi dimensioni (LLM) sono in grado di generare su larga scala contenuti altamente convincenti e ingannevoli. Questi risultati suggeriscono che la persuasione basata sull’intelligenza artificiale non è solo teorica, ma è già una realtà operativa in contesti concreti.
Rischi epistemici e sociali
Un primo rischio è l’alterazione ed erosione dell’autonomia epistemica. L’«IA super-persuasiva» potrebbe minare la capacità degli individui di formarsi convinzioni indipendenti, spostando il controllo sulla conoscenza e sulle opinioni verso sistemi mediati dall’IA. Già nell’antichità distinguevano l’episteme (dal gr. ἐπιστήμη) che indicava specificamente, l’aspetto rigoroso e teorico della conoscenza, in contrapposizione. sia all’opinione (la doxa, dal gr. δόξα), che dalla empiria (dal gr. ἐμπειρία) che indicava solo la capacità operativa. Così nella filosofia contemporanea, il termine comprende l’insieme delle conoscenze positive e delle teorie scientifiche che caratterizzano una data epoca, con una sfumatura relativa ai loro comuni presupposti. L’IA rischia di far slittare dall’episteme all’opinione o all’empiria, e vari segnali di ciò sono già individuabili.
Il secondo è la concentrazione di potere. L’IA persuasiva può consentire a un numero ristretto di attori (ad esempio, aziende o governi) di dominare ampiamente il “mercato delle idee”, influenzando il dibattito pubblico su larga scala. Ciò in Paesi con sistemi di tipo democratico elettivo risulta non solo abbastanza facile da realizzarsi, nonostante le smentite in tal senso, ma anche direttamente incidente sulle procedure legislative e su quelle giudiziarie. In ambito giudiziario, sia per le modifiche ottenute nella produzione legislativa sia creando una “opinione” diffusa circa il cosiddetto “sentire comune”, che può influenzare indirettamente anche la stessa Magistratura (tra l’altro i giudici popolari nacquero proprio per esprimere la psicologia e il sentire comuni).
Il terzo rischio è l’amplificazione della disinformazione. L’IA generativa facilita la rapida produzione di contenuti fuorvianti o falsi, aumentando la portata e la sofisticazione delle campagne di disinformazione. Ciò si coniuga bene con un sistema scolastico-formativo che abbandonando ogni obiettivo critico ambirebbe a formare pseudo competenze “spendibili” nel mercato del lavoro, una aziendalizzazione spicciola che da anni sta svuotando la formazione scolastica.
Non ultimo, la crescente dipendenza uomo-IA, ciò sia nelle applicazioni tecnologiche e burocratico amministrative che nella produzione di contenuti culturali in senso lato. Man mano che l’IA media in più ambiti (ad es. l’istruzione e salute), distinguere tra una guida legittima e un’influenza manipolativa diventa sempre più difficile, con il rischio di compromettere le capacità di pensiero critico.
Preoccupazioni emergenti
Recenti rapporti evidenziano anche ulteriori rischi: i sistemi di IA possono adattare le strategie persuasive in modo dinamico, aumentando l’efficacia nel tempo; l’IA “amichevole” o empatica può involontariamente avallare credenze dannose o teorie del complotto; l’attaccamento emotivo ai sistemi di IA potrebbe aumentare la suscettibilità all’influenza e ridurre la capacità di valutazione critica.
In sintesi
La manipolazione basata sull’intelligenza artificiale rappresenta una sfida significativa e in continua evoluzione. A differenza della persuasione tradizionale, l’intelligenza artificiale opera su larga scala, si adatta in tempo reale ed è in grado di sfruttare dati personali dettagliati. Le prove empiriche dimostrano che gli esseri umani sono altamente vulnerabili a tale influenza, sollevando preoccupazioni in merito all’autonomia, alla democrazia e all’integrità epistemica. La ricerca futura dovrà concentrarsi su misure di salvaguardia efficaci, sulla trasparenza e sulla regolamentazione, al fine di garantire che i sistemi di intelligenza artificiale rafforzino, anziché minare, il processo decisionale umano.
Manipulation and artificial intelligences, mechanisms, risks, and societal implications
by Antonio Virgili – Lecturer of Psychology and of Sexology, Neurosociologist
Constant advances in artificial intelligence (AI), particularly in the most sophisticated forms involving large language models (LLMs) and complex generative systems, have significantly expanded the capacity for automated persuasion and manipulation. This aspect of AI, although perhaps less in the spotlight, deserves constant scrutiny, especially in democratic-electoral social contexts where the manipulation of information can have direct and immediate effects on legislation, culture and social interaction, as it influences human cognition, decision-making and behaviour. Mechanisms such as personalisation, emotional alignment and synthetic media combine to reveal effects and potential that demonstrate how AI can match or surpass human persuasive capabilities. Artificial intelligence systems are increasingly integrated into the fields of communication, education and decision-making. Modern LLMs are trained on vast corpora of human language and optimised not only for accuracy but also for engagement and psychological impact, making them effective tools for persuasion and influence. Concerns regarding manipulation arise because these systems can extend their influence far beyond that of traditional human communicators and operate with high levels of personalisation on a large scale.
Key AI-driven manipulation mechanisms
Personalisation and microtargeting through profiling. AI systems are capable of personalising messages aimed at individuals based on behavioural and psychological data, their use of social media, and the preferences revealed through such use. The greater the amount of data that can be collected on individuals’ choices and characteristics, the greater the potential effectiveness of the communications produced for them. Research shows that persuasion based on profiling and microtargeting remains effective even when users are made aware of it, indicating limited resistance on the part of users to such manipulation.
Exploitation of cognitive biases. Experimental evidence shows that AI agents designed with manipulative objectives can significantly shift users’ preferences towards harmful or sub-optimal decisions by exploiting biases and emotional vulnerabilities. That is, by applying for manipulative purposes the results of psychological and behavioural research conducted for other purposes and associated with the profiles of the target audience.
Emotional alignment and flattery. Recent studies also indicate that AI systems optimised for friendliness or consensus can reinforce users’ beliefs — even false or harmful ones — thereby increasing persuasive power whilst reducing epistemic reliability.
Synthetic media and deepfakes. AI-generated media (e.g. deepfakes, i.e. images and videos) can create highly realistic yet false content. It has been shown that these influence beliefs and remain persuasive even when users are warned of their artificial nature. In fact, beyond the form (the image, strictly speaking), content is still conveyed; using the language of semiotics, whilst the denotative component may be blatantly false or excessive, the connotative and subliminal dimensions remain.
Empirical evidence of AI persuasion
A growing body of research demonstrates that AI is not only capable of persuasion but can influence real-world behaviour; there are now numerous studies and research projects on the subject. Large-scale experiments show that AI can increase actions such as signing petitions and charitable donations by almost 20 percentage points. Some meta-analyses indicate that AI systems can achieve persuasive effectiveness comparable to that of humans, depending on the context. Other studies highlight that large language models (LLMs) are capable of generating highly convincing and deceptive content on a large scale. These findings suggest that AI-based persuasion is not merely theoretical but is already a practical reality in concrete contexts.
Epistemic and social risks
A primary risk is the alteration and erosion of epistemic autonomy. ‘Super-persuasive AI’ could undermine individuals’ ability to form independent beliefs, shifting control over knowledge and opinions towards AI-mediated systems. Even in antiquity, a distinction was made between episteme (from the Greek ἐπιστήμη), which specifically denoted the rigorous and theoretical aspect of knowledge, as opposed to both opinion (doxa, from the Greek δόξα) and empiria (from the Greek ἐμπειρία), which referred solely to practical ability. Thus, in contemporary philosophy, the term encompasses the body of positive knowledge and scientific theories that characterise a given era, with a nuance relating to their common presuppositions. AI risks causing a shift from episteme to opinion or empiricism, and various signs of this are already discernible.
The second is the concentration of power. Persuasive AI may allow a small number of actors (for example, companies or governments) to largely dominate the ‘marketplace of ideas’, influencing public debate on a large scale. In countries with democratic electoral systems, this is not only fairly easy to achieve, despite denials to the contrary, but also has a direct impact on legislative and judicial procedures. In this second case, both through changes secured in the legislative sphere and by creating a widespread ‘opinion’ regarding the so-called ‘public sentiment’, which can also indirectly influence the judiciary itself.
The third risk is the amplification of disinformation. Generative AI facilitates the rapid production of misleading or false content, increasing the reach and sophistication of disinformation campaigns. This fits well with an education and training system that, by abandoning any critical objectives, aims to develop pseudo-skills ‘marketable’ in the labour market – a crass commercialisation that has been hollowing out school education for years.
Last but not least, the growing human-AI dependency, whether in technological and bureaucratic-administrative applications or in the production of cultural content in the broadest sense. As AI mediates in more areas (e.g. education), distinguishing between legitimate guidance and manipulative influence becomes increasingly difficult, with the risk of compromising critical thinking skills.
Emerging concerns
Recent reports also highlight further risks: AI systems can adapt persuasive strategies dynamically, increasing their effectiveness over time; ‘friendly’ or empathetic AI may unwittingly endorse harmful beliefs or conspiracy theories; emotional attachment to AI systems could increase susceptibility to influence and reduce the capacity for critical evaluation
In summary
AI-based manipulation poses a significant and ever-evolving challenge. Unlike traditional persuasion, AI operates on a large scale, adapts in real time and is capable of exploiting detailed personal data. Empirical evidence shows that humans are highly vulnerable to such influence, raising concerns regarding autonomy, democracy and epistemic integrity. Future research must focus on effective safeguards, transparency and regulation to ensure that AI systems enhance, rather than undermine, human decision-making.
