Quali sono attualmente i temi caldi nella ricerca sull'apprendimento automatico e nelle applicazioni reali?

Questa domanda sembra soggettiva, ma cercherò di rispondere:

1. L'apprendimento profondo [5] sembra ricevere la maggior parte della stampa in questo momento. È una forma di Rete Neurale (con molti neuroni/strati). Attualmente vengono pubblicati articoli sul New Yorker [1] e sul New York Times[2] sul Deep Learning.

2. Anche la combinazione di Support Vector Machines (SVM) e Stochastic Gradient Decent (SGD) è interessante. Le SVM sono davvero interessanti e utili perché è possibile utilizzare il trucco del kernel [10] per trasformare i dati e risolvere un problema non lineare utilizzando un modello lineare (la SVM). Una conseguenza di questo metodo è che il tempo di esecuzione dell'addestramento e il consumo di memoria dell'SVM scalano con la dimensione del set di dati. Questa situazione rende molto difficile addestrare SVM su grandi insiemi di dati. SGD è un metodo che utilizza un processo casuale per permettere agli algoritmi di apprendimento automatico di convergere più velocemente. Per farla breve, è possibile combinare SVM e SGD per addestrare SVM su serie di dati più grandi (teoricamente). Per maggiori informazioni, leggete questo link[4].

3. Poiché i computer sono ora veloci, economici e abbondanti, la statistica bayesiana sta diventando di nuovo molto popolare (questo non è assolutamente "nuovo"). Per molto tempo non è stato possibile usare le tecniche bayesiane perché era necessario eseguire integrazioni probabilistiche a mano (quando si calcolano le prove). Oggi, i bayesisti usano catene di Markov Monte Carlo[6], approssimazioni di griglia[7], campionamento di Gibbs[8], algoritmo di Metropolis [13], ecc. Per maggiori informazioni, guardate i video sulle Reti Bayesiane su Coursera. o leggete questi libri [11], [12] (Sono una bomba!!!)

4. Uno qualsiasi degli algoritmi descritti nel documento "Map Reduce for Machine Learning on a Multicore"[3]. Questo documento parla di come prendere un algoritmo/problema di apprendimento automatico e distribuirlo su più computer/cores. Ha implicazioni molto importanti perché significa che tutti gli algoritmi menzionati nel documento possono essere tradotti in un formato map-reduce e distribuiti su un cluster di computer. Essenzialmente, non ci sarebbe mai una situazione in cui il set di dati è troppo grande perché si potrebbe semplicemente aggiungere altri computer al cluster Hadoop. Questo articolo è stato pubblicato un po' di tempo fa, ma non tutti gli algoritmi sono stati ancora implementati in Mahout.

Il machine learning è un campo di studio molto ampio. Sono sicuro che ci sono molti altri argomenti, ma questi sono quattro che trovo sicuramente interessanti.

[1] Il "Deep Learning" è una rivoluzione nell'intelligenza artificiale?

[2] Gli scienziati vedono i progressi nel Deep Learning, una parte dell'intelligenza artificiale

[3] http://www.cs.stanford.edu/people/ang//papers/nips06-mapreducemulticore.pdf

[4] Kernel Approximations for Efficient SVMs (and other feature extraction methods) [update]

[5] Deep learning

[6] Markov chain Monte Carlo

[7] http://www.people.fas.harvard.edu/~plam/teaching/methods/grid/grid_print.pdf

[8] Gibbs sampling

[9] Coursera

[10] Kernel trick

[11] Doing Bayesian Data Analysis

[12] Amazon.com: Probability Theory: The Logic of Science (9780521592710): E. T. Jaynes, G. Larry Bretthorst: Books

[13] Metropolis–Hastings algorithm