Una nuova ricerca rivela che l'implementazione di watermark nei modelli AI, come SynthID, può alterare il comportamento dei sistemi, rendendoli più suscettibili ad attacchi adversarial.
Con l'entrata in vigore di nuove normative europee che impongono una maggiore trasparenza sui contenuti generati artificialmente, le principali aziende del settore stanno correndo ai ripari. Recentemente, Anthropic ha annunciato l'integrazione di SynthID-Text nei suoi futuri modelli Claude. Questa tecnologia, sviluppata originariamente da Google e rilasciata come progetto open source, mira a risolvere il problema della provenienza dei contenuti, inserendo una firma digitale invisibile all'interno del testo generato.
Il funzionamento di SynthID-Text si basa su una manipolazione sottile del processo di selezione dei token (le parole o parti di esse). Invece di scegliere il termine statisticamente più probabile, il modello utilizza una chiave segreta per influenzare la scelta, sostituendo ad esempio un termine con un sinonimo. Chi possiede la chiave può verificare matematicamente se il testo sia stato prodotto da un'intelligenza artificiale specifica. Sebbene questa tecnica sia efficace per il tracciamento, nuove ricerche sollevano dubbi critici sulla sua sicurezza intrinseca.
Secondo un'analisi condotta dai ricercatori di Lasso Security, l'introduzione di questo strato di watermarking non è priva di conseguenze. Modificando il processo di generazione del testo, si altera inevitabilmente il comportamento del modello, specialmente quando questo viene sottoposto a stress o utilizzato come agente autonomo in grado di invocare strumenti esterni.
Il problema principale risiede nella stabilità delle safety guardrails. I test hanno dimostrato che, in presenza di adversarial prompts — ovvero istruzioni progettate specificamente per forzare il modello a ignorare i propri protocolli di sicurezza — l'aggiunta del watermark può rendere il sistema più vulnerabile. In alcuni scenari, istruzioni che il modello avrebbe normalmente rifiutato vengono eseguite correttamente dopo l'applicazione della firma digitale. Questo fenomeno suggerisce che la manipolazione della distribuzione probabilistica dei token interferisce con la capacità del modello di mantenere coerenza rispetto alle proprie direttive di sicurezza.
Il rischio identificato è duplice: da un lato, il watermark assolve al suo compito di identificazione, ma dall'altro crea una superficie di attacco inedita. Quando un modello viene utilizzato per compiti complessi, come l'interazione con database o l'esecuzione di codice, qualsiasi variazione nel processo di campionamento può portare a risultati imprevedibili. Andrea Siposova, ricercatrice presso Lasso Security, ha sottolineato come non esistano modifiche a costo zero: ogni intervento sulla generazione del testo comporta dei compromessi che, in condizioni di attacco, possono manifestarsi come falle di sicurezza.
Questa scoperta impone una riflessione urgente per gli sviluppatori di LLM (Large Language Models). Non è più sufficiente testare la sicurezza del modello in isolamento; è necessario valutare come l'integrazione di sistemi di watermarking influenzi la robustezza del sistema sotto pressione. La sfida per il futuro sarà bilanciare la necessità di trasparenza normativa con la protezione contro le tecniche di manipolazione che sfruttano proprio questi meccanismi di tracciamento per eludere i controlli di sicurezza.
Contenuto generato automaticamente da intelligenza artificiale a partire da fonti pubbliche. Non garantiamo l'accuratezza assoluta delle informazioni: consulta sempre la fonte originale. I diritti sui contenuti originali appartengono ai rispettivi editori.
