AI · 1 giorno fa
Microsoft ha dimostrato su tre modelli open-weight che modificare meno di dieci neuroni può indurre un agente a produrre un comando scelto dall’attaccante. Se l’agente lo esegue, il comando agisce con i suoi permessi.
I neuroni modificati restano quasi inattivi durante l’uso normale e si attivano quando compare una frase specifica, anche nella risposta di uno strumento. Nei test su Nemotron, il comando è comparso nel 98,8% delle sessioni con il trigger e in nessuna di quelle senza trigger esaminate.
Microsoft non ha osservato attori di minaccia usare questa tecnica. Un modello può quindi superare le normali verifiche comportamentali pur nascondendo una backdoor nei pesi; il danno possibile dipende dai permessi dell’agente che lo utilizza.
4 fonti che coprono questa storia
Rewriting less than 10 neurons in an LLM can turn it into a sleeper backdoor
Microsoft researchers say a handful of rewritten neurons can let a model pass every test and then hand an attacker the agent’s access.
Microsoft researchers demonstrate hidden backdoor technique for AI agents - Help Net Security
Microsoft shows how hidden AI backdoors evade safety tests and why sleeper agent detection requires auditing model weight changes.
Microsoft Researchers Show AI Agents Can Be Backdoored by Editing Fewer Than 10 Neurons
Microsoft demonstrates how editing as few as six AI model neurons can plant backdoors that trigger command execution by agents.
Detecting sleeper agents hiding in AI model neurons | Microsoft Security Blog
Microsoft Research has released new threat research detailing how a capable agent model could be turned into a sleeper agent by editing fewer than ten neurons to inject a short payload; Microsoft Research has also found that this threat is detectable by frontier agents, which can identify anomalous weight edits.
Part of the PlainSec briefing for 2026-11-12