Come vengono impiegati di solito i modelli di rete neurale?

Tante possibilità:

• Hai raggiunto un minimo locale della tua funzione di costo. Poiché il gradiente è calcolato stocasticamente, rimbalzerà ancora un po', ma se il bacino di attrazione dei minimi locali è abbastanza grande, sarete bloccati lì.
• La vostra rete non è abbastanza complessa per ottenere una migliore approssimazione della funzione che state modellando. In teoria, si può modellare qualsiasi funzione con una precisione arbitraria con una rete abbastanza grande. Ogni rete ha una precisione massima alla quale può approssimare qualsiasi funzione. Per una piccola rete e una funzione complicata, la massima accuratezza può essere lontana da ciò che volete.
• Il vostro tasso di apprendimento è troppo grande. Il modello va troppo lontano nella direzione del gradiente e continua a superare l'obiettivo.
• Instabilità numerica. Calcolare i gradienti e aggiornare i pesi è complicato e a volte può portare a cancellazioni catastrofiche. Questo può rovinare completamente la convergenza, a volte anche mantenendo il vostro modello appena fuori dall'intervallo ottimale dei parametri senza divergere.
• Un bug nel codice. Calcolare qualsiasi cosa di sbagliato può ancora permettere al vostro modello di convergere, ma ai parametri sbagliati.
• L'algoritmo sbagliato. Le reti neurali sono ottime per un sacco di cose, ma non sono adatte per ogni compito. Alcune funzioni sono molto difficili da approssimare con le reti neurali.

E ci sono tonnellate di altre cose che potrebbero andare male! Se vuoi sapere cosa sta andando storto nel tuo caso, devi esaminare esattamente cosa sta facendo il tuo modello.