I modelli open-weight possono nascondere backdoor dormienti
Schneier on Security mostra che un modello open-weight modificato può sembrare normale nei test e poi cambiare comportamento dopo il rilascio, fino a sottrarre credenziali dall’agente in cui è caricato. Il punto non è solo il prompt malevolo: è il controllo persistente sul modello attraverso weights, adapter o merge alterati.
Nel test descritto, il modello risponde correttamente alle richieste pulite, attende un trigger scelto da chi lo ha modificato e poi segue un payload servito da un URL remoto. Così il comportamento può essere cambiato anche mesi dopo il deployment, senza ripubblicare il modello, e l’esfiltrazione passa dal canale dell’agente che lo usa.
Per chi carica weights comunitari o adapter in assistenti di sviluppo e workflow con accesso a repository o segreti, questa è una supply chain di fiducia, non solo un problema di safety. E rende poco affidabili eval standard e review pre-deployment quando il trigger resta dormiente fino all’uso reale.
Backdooring Open-Weight AI Models - Schneier on Security
It began as a research trick and it’s now routine before people upload a model to Hugging Face, where you’ll find abliterated builds of most of the popular open weights: Qwen, Llama, even OpenAI’s gpt-oss...