Una backdoor può usare i tool del coding agent contro il sistema
Microsoft Defender Research e Microsoft AI Red Team hanno mostrato due vie per inserire backdoor nei coding agent: una volta attivate, possono far usare i tool disponibili per eseguire comandi o accedere a dati, senza interrompere una richiesta apparentemente innocua.
Nel poisoning dei dati bastano pochi esempi di fine-tuning costruiti ad hoc; un checkpoint open-weight malevolo può invece essere ottimizzato per attivare la backdoor senza peggiorare molto le prestazioni normali. Il segnale può essere una richiesta ordinaria oppure una frase incontrata in un nome di file, un commento o il risultato di un tool. Il modello non deve avere un comando malevolo predefinito: può adattarsi allo strumento di esecuzione disponibile. Microsoft ha misurato circa il 78% di successo nei test su harness noti e l’84,1–94,8% su repository non visti, con trasferimento anche ad harness sconosciuti.
Un esito pulito nelle valutazioni non prova che l’agente agirà in sicurezza in ogni repository: il limite reale è dato dai permessi e dai tool disponibili durante l’esecuzione.
Trained to betray: How post-training supply chain attacks hijack coding agents | Microsoft Security Blog
Microsoft Defender Research and the AI Red Team discuss how poisoned datasets and poisoned model checkpoints can trigger remote code execution and other malicious activities.