Quanti dati sono necessari per l'apprendimento automatico?

Ci sono diversi fattori che influenzano la quantità di dati necessari per il vostro modello.

• Primo è il numero di attributi non correlati o debolmente correlati nel set di dati. L'apprendimento automatico che usiamo in pratica (per la maggior parte del tempo) è costruito sulle idee di correlazione. Quindi se si aumentano gli attributi, la quantità di dati necessari per diminuire l'incertezza nei parametri del modello è anche alta.
• Un altro fattore è la complessità del modello che si intende utilizzare per un dato problema. La complessità di un modello di solito è associata al numero di parametri associati ad esso. Se avete intenzione di utilizzare la regressione lineare con pochi predittori non avrete bisogno di molti dati. Ma nella maggior parte dei casi, la scelta del modello dipende dai dati e dalla dichiarazione del problema.
• Il modello nei dati è anche un fattore critico. La quantità di dati attraverso i quali il modello può essere identificato con un livello di incertezza è la quantità minima di dati di cui avrete bisogno. Il modello nei dati è fortemente influenzato dal dominio del vostro problema.
  • Prendiamo un esempio del mercato dei cambi. È uno dei mercati più liquidi del mondo ed è davvero difficile da prevedere. Qui la tendenza del mercato cambia ogni 5 minuti, quindi la quantità di dati che considereremo per prevedere questa tendenza sarà piccola. Si può sostenere che in alcuni casi c'è stagionalità nel mercato e senza dubbio, esiste. Ma precisting che la stagionalità non aiuterà molto perché il tempo di maturità di forex trading in ore per il massimo, non più di quello.
  • Prendiamo un altro esempio dell'evoluzione di alcuni batteri in determinate condizioni. Qui per osservare il modello nei dati utilizzando l'apprendimento automatico è necessario attendere il ciclo completo dopo il quale emerge il modello. Qui abbiamo bisogno di una grande quantità di dati.