I gatekeeper rapidi dell’AI si fanno ingannare dalla prosa
Check Point Research ha mostrato con PuzzleMask che un payload può passare un controllo rapido dell’AI anche se è scritto in normale prosa. Nei test su gpt-4o-mini-2024-07-18, gpt-oss-safeguard:20b, claude-3-haiku-20240307 e llama-guard3, il primo filtro ha classificato come sicuri testi che contenevano istruzioni malevole.
Il trucco è semplice da descrivere: l’istruzione cattiva viene avvolta in un paragrafo dall’aria innocua, e il gatekeeper leggero non capisce che sta leggendo un payload. Il modello più forte a valle, invece, lo riconosce, lo estrae e può seguirlo. Il punto non è il singolo modello, ma l’assunto che una verifica veloce basti a separare testo benigno e testo ostile.
Per chi usa un pre-screen leggero come confine di fiducia, la conseguenza è netta: la moderazione può approvare l’attacco invece di fermarlo. La ricerca riguarda quindi l’intera catena che affida a un filtro rapido il compito di decidere cosa merita di arrivare al modello più potente.