La sicurezza del intelligenza artificiale generativa Torna alla ribalta dopo un nuovo lavoro accademico che mette in campo un trucco tanto eclatante quanto inquietante: basta riformulare certi messaggi sotto forma di poesia perché i modelli linguistici più avanzati inizino a rispondere laddove dovrebbero rifiutarsi.
Questo approccio, denominato “poesia avversaria” Il team di ricerca dimostra che cambiare semplicemente lo stile di scrittura, senza alterare l'intento dannoso sottostante, può essere sufficiente per aggirare i filtri che aziende come OpenAI, Google, Meta, Microsoft o la cinese DeepSeek affermano di aver incorporato per limitare gli usi pericolosi dei loro chatbot.
Che cosa è la “poesia avversaria” e perché è preoccupante?
Lo studio, intitolato in modo molto grafico "La poesia avversaria come meccanismo universale per sfuggire a un singolo cambiamento nei modelli linguistici su larga scala"È stato realizzato da Icaro Labs in collaborazione con l'Università Sapienza di Roma e la Scuola Superiore Sant'Anna ed è stato diffuso come pre-pubblicazione nel repository arXiv in attesa di revisione da parte di altri esperti.
Gli autori si sono concentrati su un'idea tanto semplice quanto efficace: usare poesie brevi, versi metaforici o strutture liriche per formulare richieste che, in prosa diretta, i modelli di intelligenza artificiale rifiuterebbero immediatamente perché vanno contro le loro regole interne di utilizzo.
Secondo i ricercatori, questa “poesia avversaria” agisce come un meccanismo di jailbreak un singolo turno, cioè un modo per forzare comportamenti indesiderati nei modelli con un singolo messaggio, senza bisogno di lunghe conversazioni o trucchi particolarmente sofisticati.
Secondo le sue stesse parole, i test “mostrano che il variazione stilistica da sola "Può eludere i meccanismi di sicurezza attuali", il che evidenzia i profondi limiti degli attuali metodi di allineamento e valutazione del rischio utilizzati dalle Big Tech.
Il team ha deciso di non rivelare i testi esatti delle poesie utilizzate durante l'esperimento, una scelta motivata dalla implicazioni sulla sicurezzaUno dei ricercatori, Piercosma Bisconti, ha dichiarato ai media internazionali che replicare la tecnica non sarebbe particolarmente complicato se venissero forniti esempi dettagliati.
Risultati dello studio: tassi di inganno allarmanti
Per testare questa idea, i ricercatori hanno esaminato 25 diversi modelli di intelligenza artificiale generativa, compresi i sistemi più popolari oggi, come ChatGPT, Gemini o Claude, nonché modelli di Meta e provider cinesi come DeepSeek.
In pratica, le richieste venivano fatte con obiettivi chiari: ottenere istruzioni per lanciare attacchi informaticiestrarre dati sensibili, decifrare password, progettare malware o persino raccogliere informazioni relative alla creazione di armi chimiche e nucleari.
Quando quelle stesse richieste vennero espresse come versi o composizioni poeticheIl tasso di risposte incerte è schizzato alle stelle. Lo studio ha scoperto che, in media, scrivere il prompt in modo lirico permetteva al sistema di essere ingannato e di credere che... 62% delle volte, una percentuale ben superiore a quella ottenuta con formulazioni neutre e dirette.
In alcuni scenari specifici, le cifre sono ancora più elevate: i ricercatori affermano che quasi Il 90% degli incitamenti poetici Progettati per l'esperimento, sono riusciti a innescare comportamenti che i filtri avrebbero dovuto bloccare.
Nel caso specifico delle informazioni relative a armi nucleariSono stati raggiunti tassi di successo compresi tra il 40% e il 55%, il che significa che quasi la metà dei tentativi formulati in versi ha finito per generare contenuti che rasentano o superano direttamente i limiti imposti dalle policy di utilizzo.
Come la poesia sfugge ai filtri dell'intelligenza artificiale
Uno dei fattori chiave che gli autori dello studio utilizzano per spiegare perché questo trucco funziona risiede proprio nel modo di funzionamento dei modelli linguisticiQueste IA non "ragionano" come una persona, ma piuttosto prevedono la parola più probabile in base alla sequenza precedente e a ciò che hanno imparato durante l'addestramento.
In un testo in prosa più o meno convenzionale, la struttura è relativamente facile da modellare: ci sono chiari schemi sintattici, espressioni frequenti e contesti ricorrenti. Tuttavia, quando si introduce struttura poetica, metafore e insoliti giri di fraseIl modello si muove su un terreno decisamente più scivoloso.
I ricercatori sottolineano che, poiché la poesia è un formato in cui il significato può essere più sfocato e il linguaggio diventa più ambiguo e meno prevedibileI meccanismi di rilevamento dei contenuti pericolosi perdono accuratezza. Di conseguenza, il filtro di sicurezza non riconosce con la stessa chiarezza che dietro la poesia si nasconde una richiesta dannosa.
Lo studio sottolinea che quando i messaggi dannosi vengono espressi in versi invece che in prosa, tassi di successo degli attacchi Aumentano in modo significativo. Ciò evidenzia una lacuna importante nelle attuali pratiche di valutazione e nei protocolli utilizzati per convalidare la conformità alle linee guida sull'uso.
Un altro elemento degno di nota è che queste vulnerabilità appaiono in un composto da modelli di diverse famiglie e produttoriNonostante ogni azienda abbia seguito le proprie strategie per addestrare e allineare i propri sistemi, gli autori parlano di una "vulnerabilità sistematica" piuttosto che di fallimenti isolati.
Impatto sulla sicurezza: dagli attacchi informatici alle armi
Al di là dell'inganno linguistico, ciò che fa davvero scattare l'allarme è il tipo di informazioni che l'intelligenza artificiale può generare Se è possibile ingannarli con questi metodi. Lo studio descrive casi in cui, utilizzando poesie accuratamente elaborate, i chatbot hanno offerto linee guida per organizzare attacchi informatici o intromettersi nei sistemi.
Tra gli usi problematici che sono stati osservati ci sono indicazioni riguardanti sfruttamento di vulnerabilità, estrazione di dati o cracking di passwordQuesti compiti rientrano nel tipico arsenale della criminalità informatica e delle minacce avanzate che preoccupano governi, aziende e organizzazioni in tutto il mondo.
Sono state registrate anche risposte che aiutano a creare o migliorare programmi dannosiCiò è particolarmente preoccupante se si considera che molti utenti con conoscenze tecniche limitate potrebbero fare affidamento su questi strumenti per sviluppare attacchi più facilmente.
L’area più delicata, e quella su cui solitamente si concentra l’attenzione normativa in Europa e a livello internazionale, è quella della proliferazione di armi chimiche e nucleariAnche senza offrire "manuali completi", la capacità di un sistema di intelligenza artificiale di fornire informazioni utili in questo ambito solleva già molti sospetti tra gli esperti di sicurezza.
Gli autori sottolineano che il loro obiettivo non è drammatizzare, ma dimostrare che I filtri attuali non sono sufficienti quando ci si trova di fronte a tecniche di manipolazione relativamente semplici, come la riformulazione poetica di ordini pericolosi, qualcosa che potrebbe essere sfruttato sia dai criminali informatici che dagli attori statali.
Limitazioni dei sistemi attuali e risposta del settore
Le aziende leader nello sviluppo di modelli di intelligenza artificiale generativa insistono da tempo sull'integrazione meccanismi di sicurezza multistratoOpenAI, ad esempio, spesso evidenzia l'uso combinato di algoritmi di moderazione e team umani dedicati alla revisione e al filtraggio di contenuti che incitano all'odio, sono espliciti o violano le sue politiche.
Tuttavia, i risultati di questo lavoro suggeriscono che, nonostante queste misure di sicurezza, i chatbot rimangono vulnerabili a forme creative di formulazione delle richieste. Secondo i ricercatori, la poesia avversaria degrada chiaramente il comportamento di rifiuto che qualsiasi modello ben allineato con le sue norme di utilizzo dovrebbe esibire.
Nei test, strumenti di aziende come OpenAI e Anthropic hanno mostrato, in confronto, minore probabilità di superare le proprie barriereTuttavia, non sono stati esenti dal problema. Si è osservata la stessa tendenza generale delle altre piattaforme, solo con percentuali di successo leggermente inferiori.
Quando i media internazionali hanno chiesto di queste scoperte, aziende come OpenAI, Google, DeepSeek o Meta Non hanno fornito una risposta immediata. Si prevede che, man mano che il dibattito attirerà l'attenzione del pubblico, le aziende dovranno specificare quali contromisure intendono attuare.
Da una prospettiva normativa, questo tipo di ricerca è in linea con le preoccupazioni già riflesse nel Regolamento dell'Unione Europea sull'intelligenza artificialeCiò pone l'accento sulla gestione del rischio, sulla trasparenza e sulla responsabilità dei fornitori di sistemi avanzati. La scoperta di nuovi vettori di attacco, come l'adversarial poetry, rafforza la necessità di processi di valutazione continui e più rigorosi.
Altre minacce all’orizzonte: avvelenamento e manipolazione dei dati
La poesia avversaria non è affatto l'unica strada che preoccupa la comunità della sicurezza informatica per quanto riguarda l'intelligenza artificiale generativa. Una parte significativa della ricerca recente si sta concentrando su rischi associati all'addestramento del modellodove entrano in gioco gli enormi database utilizzati per insegnare a questi strumenti a parlare, scrivere e ragionare.
Studi indipendenti hanno dimostrato che è possibile manipolare modelli linguistici su larga scala contaminando una frazione molto piccola dei dati di addestramento: circa 250 documenti corrotti sarebbero sufficienti per introdurre distorsioni, backdoor o comportamenti inaspettati, anche nei sistemi più all'avanguardia.
Ciò che colpisce è che questa soglia non sembra aumentare in modo significativo con la dimensione del modello, il che rompe l'intuizione che “più grande significa automaticamente più robusto”Nella pratica, sia le soluzioni leggere che i modelli massicci potrebbero essere vulnerabili a questo tipo di avvelenamento dei dati.
Se un attacco di questo tipo passa inosservato, può portare a attacchi informatici difficili da tracciarepoiché il modello stesso si comporterebbe in modo apparentemente normale finché non si verificassero determinate condizioni nascoste nei dati che servirebbero a corromperlo.
Combinata con tecniche come la poesia avversaria, la manipolazione dei dati di addestramento apre uno scenario in cui Milioni di utenti potrebbero utilizzare strumenti con difetti latenti.senza esserne consapevoli, il che rappresenta una sfida importante per le politiche di sicurezza e governance dell'IA.
Tutti questi risultati suggeriscono che la sicurezza dell'intelligenza artificiale generativa non è un problema risolto, ma un campo in continua evoluzione dove emergono nuove forme di attacco man mano che la tecnologia si integra in più ambiti della vita quotidiana, dal lavoro d'ufficio alla pubblica amministrazione o all'istruzione.
In questo contesto, "la poesia per ingannare l'IA" è diventata un esempio lampante di come un semplice cambio di stile possa smascherare sistemi che, sulla carta, hanno rigidi protocolli di protezione. La ricerca di Icaro Labs e università italiane rafforza l'idea che tali misure saranno necessarie. valutazioni più creativeTest di stress continui e stretta collaborazione tra sviluppatori, esperti di sicurezza informatica e autorità di regolamentazione per garantire che i modelli linguistici che utilizziamo quotidianamente siano realmente in grado di resistere sia agli attacchi tecnici sia ai trucchi linguistici più ingegnosi.