Qual è la differenza tra parallelismo dei modelli e parallelismo dei dati?

Il "parallelismo dei dati" e il "parallelismo dei modelli" sono modi diversi di distribuire un algoritmo. Sono spesso usati nel contesto degli algoritmi di apprendimento automatico che usano la discesa stocastica del gradiente per imparare alcuni parametri del modello, il che significa fondamentalmente che:

• L'algoritmo sta cercando di stimare alcuni parametri dai dati forniti.
• I parametri sono stimati minimizzando il gradiente rispetto a qualche funzione di perdita.
• L'algoritmo itera sui dati in piccoli lotti.

Nell'approccio data-parallel:

• L'algoritmo distribuisce i dati tra vari core.
• Ogni core indipendentemente cerca di stimare lo stesso parametro(i)
• I core poi scambiano le loro stime tra loro per arrivare alla stima giusta per il passo.

Nell'approccio modello-parallelo:

• L'algoritmo invia gli stessi dati a tutti i core.
• Ogni core è responsabile della stima di diversi parametri
• I core poi scambiano le loro stime tra loro per arrivare alla giusta stima di tutti i parametri.

L'approccio data-parallel è utile quando c'è un piccolo numero di nodi nel cluster e il numero di parametri da stimare è piccolo, mentre l'approccio model-parallel è utile nella condizione opposta.

Per maggiori dettagli, leggete questi due eccellenti post di Tim Dettmers.