Qual è la spiegazione formale del perché il modello avversario come l'attacco di un pixel funziona contro la rete neurale?

Questo è motivato da una risposta e dai suoi commenti: Qual è la spiegazione formale del perché il modello avversario come l'attacco di un pixel funziona contro la rete neurale?

Non lo vedo tanto come il whack-a-mole, anche se questo ha una buona connessione di gioco che ho usato. Mi piace pensare a un'enorme palla (da spiaggia?). Partendo dal piccolo, diciamo che è un mucchio di toppe (prendete un diametro enorme per la palla con il numero appropriato di toppe) cucite insieme in modo che possa rotolare. Abbiamo visto enormi cose di plastica che la gente cerca di spingere verso qualche oggetto. Ma va sempre male. Beh, considerate i carri allegorici della parata del Giorno del Ringraziamento e la quantità di corde (e di persone) necessarie per mantenerne uno lungo la strada.

Allora, ci sono un paio (o più) di cose che sono interessanti. Far muovere la palla su qualche terreno (sotto). Inoltre, supponiamo che abbia delle perdite, quindi uno sta correndo intorno alla cosa cercando di fermarle. Ne sistemi uno, e un altro salta fuori (piccole persone con le dita nei buchi delle dighe). Oppure, si potrebbe pensare di spingere un ripieno dentro. In ogni caso, il motivo è quello di impedire che la cosa si sgonfi.

Che è quello che sta succedendo nei regni superiori, da dove mi siedo. La struttura (può essere caratterizzata in diversi modi) sta crollando. Cioè, sul lato della palla delle cose dove c'è difficoltà. Anche, però, sorgono problemi su dove la palla si sta muovendo.

Questi sono come due aspetti (in realtà, è molto più vario) della verità. Il nostro problema, far coincidere il mover con il movee. Non può essere fatto, per la maggior parte. Se fatto, è più fortunato che non (dal mio punto di vista). Oppure, altamente situazionale dove non sappiamo perché un certo plateau di stabilità potrebbe essere stato raggiunto.

L'altopiano è svanito o il mover è sceso? Fondamentalmente, la questione dell'uovo di gallina.

BTW, tagliando corto. Voglio sostenere che le persone nel giro possono effettivamente aiutare con un test di 'odore' (da definire). Possiamo imparare a tirar fuori informazioni sufficienti per la valutazione, con l'atteggiamento giusto. I computer non possono uscire dalla vertigine (da definire - avevamo un uso che aveva senso). E nemmeno gli umani, francamente.

Che cosa abbiamo? Eoni ed eoni di esperienza. Ma non siamo nell'intelligenza, da soli. È terribilmente arrogante da parte nostra trascurare i nostri cugini, gli animali. Poi, ignorare completamente ciò che altre bio-forme potrebbero portare è miope.

Il collasso di cui sopra? Pensate a quello che passiamo negli anni della nostra formazione. Sì, auto-riflettere prima di precipitarsi nello spazio digitale. In realtà, considerate anche i problemi che gli adulti affrontano; non ci vuole molto per mettere qualcuno fuori uso. Infatti, molte menti di talento hanno lavorato per affinare proprio questo.

Una buona metafora? Prendete qualsiasi cosa. Come un albero. Anni di crescita. Può essere demolito in pochi minuti.

Nel regno virtuale, stiamo costruendo (tentando di costruire) "strutture" usando strumenti non pensati per questo. Per una ragione, l'intuizione è stata buttata via. Ma, questa è una parte della necessaria discussione filosofica che è stata lasciata incustodita.

Dal punto di vista di questo vecchio, stiamo vedendo accenni di grave instabilità. L'esistenza di prove che 1 pixel (nel senso di perturbazione) è sufficiente a causare il caos indica questo tipo di cose. Ma, è molto peggio, gente, di quanto ci rendiamo conto.