Quali tipi di cose Netflix testa A/B, a parte l'iscrizione dei membri?

Neil ha un'ottima risposta sopra, ma ho pensato di aggiungere un esempio più concreto per chi ama conoscere le specifiche. Recentemente Anna Blaylock (Product Designer @Netflix (product)) ha condiviso un test A/B incredibilmente sorprendente che hanno eseguito:

"Perché non posso sfogliare i titoli prima di iscrivermi a Netflix?"

È un sentimento che molti visitatori di Netflix hanno espresso a un certo punto. Infatti, il 46% dei visitatori intervistati ha detto che rendere disponibili i titoli dei contenuti di Netflix da sfogliare era l'unica cosa che volevano sapere prima di iscriversi.

Sembra logico, no? Gli utenti vogliono sapere in che cosa si stanno cacciando e quali sarebbero i vantaggi di scambiare le loro informazioni.

Così, il team è andato avanti e ha progettato una serie di test sulla seguente ipotesi:

Se gli utenti possono sfogliare i titoli dei contenuti prima di iscriversi, aumenterà il numero di utenti che si registrano.

Poi, il team ha creato 5 varianti per testare l'originale contro. Le varianti avevano tutte diversi gradi di ricercabilità dei contenuti in modo che gli utenti potessero avere un assaggio del valore di Netflix.

Dopo una serie di 5 test, c'è stato un chiaro vincitore: l'originale....aspetta cosa?

Mentre gli utenti sostengono di voler vedere i titoli dei contenuti prima di iscriversi, i dati mostrano che gli utenti che visualizzano i titoli stavano convertendo a tassi inferiori.

Il team ha imparato molto da questo test e dai seguenti debriefs:

1. Netflix è tutta una questione di esperienza. Non si tratta solo di avere i migliori titoli. Invece, gli utenti devono sperimentare la continuità di avere suggerimenti personalizzati che appaiono, o avere l'autoplay che ti trascina in un altro episodio di circa 40 minuti di Daredevil.

2. L'aumento delle opzioni ha dato troppa scelta. L'originale aveva solo una scelta: Start Your Free Month. Blaylock dice che la bassa barriera all'entrata supera il bisogno degli utenti di vedere tutti i contenuti prima di iscriversi.

3. Gli utenti non sanno sempre cosa vogliono. Anche se i dati del sondaggio dicevano che gli utenti erano molto vocali riguardo ai titoli da sfogliare, i dati hanno chiaramente dimostrato il contrario. Se Netflix non avesse testato la sua ipotesi, l'implementazione sarebbe probabilmente costata agli utenti e un sacco di tempo per correggere il loro errore.

Per un riassunto completo, i dettagli del test e molti altri casi di studio come questo, controlla il writeup che ho fatto qui: I risultati del test di registrazione che Netflix non si aspettava