Cos'è la latenza p99?

E' il limite superiore delle latenze sperimentate dal 99% dei flussi (ad esempio, flussi TCP, richieste HTTP, RPC, ...). In altre parole, il 99% dei flussi sta sperimentando meno della latenza p99 (aka 99°-percentile).

Perché si usa?
Nella maggior parte delle applicazioni, vogliamo minimizzare le latenze di coda, che corrispondono alla peggiore esperienza utente. Ora, dato che abbiamo circa l'1% di rumore nelle nostre misurazioni (come congestioni di rete, interruzioni, degradi di servizio), la latenza p99 è un buon rappresentante praticamente del caso peggiore. E, quasi sempre, il nostro obiettivo è quello di ridurre la latenza p99.

Lasciatemi fare un esempio. Diciamo che avete una web app i cui dati sono memorizzati in un DB persistente ed è anche parzialmente in cache in memoria. Se rispondete al 90% delle richieste dalla cache, ma al 10% dal DB persistente, la latenza p99 è determinata dalla latenza del DB. A questo punto, devi lavorare sul design del tuo DB e sulla strategia di caching per migliorare il p99, altrimenti avrai molte lamentele dai tuoi clienti (utenti finali o altri sviluppatori nel tuo team).