Quali sono alcuni esempi di modelli bilineari?

Ecco un esempio:

Pagina su wustl.edu

PCA è un modello lineare in quanto utilizza un singolo vettore [math]\mathbf{z}[/math] per ricostruire un vettore osservato di dimensione superiore [math]\mathbf{x}[/math]. Il vettore ricostruito è [math]\mathbf{hat{x}=M z}[/math]. Si può pensare alla PCA come ad una combinazione pesata di vettori base dove i pesi sono le componenti del vettore [math]z_i[/math] e i vettori base [math]\mathbf{m_i}[/math]sono le colonne di [math]\mathbf{M}[/math]. La ricostruzione è quindi [math]\mathbf{\hat{x}}=\sum_i \mathbf{m_i}z_i[/math]

Un modello bilineare usa due set di pesi per fare la ricostruzione. Così avreste due insiemi di scalari [math]z_i[/math] e [math]y_j[/math] che possibilmente hanno un diverso numero di dimensioni ciascuno e un più grande insieme di vettori base [math]\mathbf{m_{i,j}}[/math] e la ricostruzione è la somma pesata [math]\mathbf{x}=\sum_{i,j} \mathbf{m_{i,j}}z_i y_j[/math]. Questo è chiamato un modello bilineare perché sommando su [math]i[/math] o [math]j[/math] si ottiene un semplice modello lineare simile alla PCA.

C'è probabilmente un modo per rappresentare il modello bilineare usando tensori e un prodotto matriciale tridimensionale con due vettori [math]\mathbf{z}[/math] e [math]\mathbf{y}[/math], ma questo è oltre me.

Mentre la PCA è un problema vincolato e la soluzione ottimale può essere trovata usando una decomposizione eigenica o SVD, il modello bilineare è sotto vincolo. Quindi alcuni vincoli devono essere imposti per risolvere il problema della stima dei parametri. Nell'articolo di cui sopra gli autori usano diverse distribuzioni a priori su [math]\mathbf{z}[/math] e [math]\mathbf{y}[/math] e usano la log likelihood come funzione obiettivo che tentano di massimizzare attraverso la discesa del gradiente.