Quanto spazio di archiviazione gratuito si ottiene con Firebase?

Il mese scorso, ExtremeTech ha rivelato la vera portata del porno su internet. In qualsiasi momento, lo streaming di video per adulti probabilmente utilizza circa il 30% della larghezza di banda totale di Internet, il che equivale a circa 6 terabyte di porno che vengono consumati ogni secondo. Ma che dire dell'altro 70%? Netflix, YouTube e altri siti di video non per adulti sono enormi divoratori di banda, probabilmente rappresentano fino al 40% del traffico internet. I localizzatori di file digitali, come Rapidshare e Megaupload, rappresentano circa il 10% del traffico mondiale. La navigazione sul web e la posta elettronica (e lo spam!) sono un altro 15%. E poi c'è il cloud computing.

Oggi, la stragrande maggioranza dei servizi e dei siti web sono ospitati nel cloud. Con questo voglio dire che, invece di aziende (come Ziff Davis/ExtremeTech) che gestiscono il proprio hardware, vengono utilizzati servizi di cloud storage e computing di terzi. Amazon Web Services (AWS), Microsoft Azure e Google sono tre esempi importanti di enormi cluster di cloud, ma ci sono centinaia di operazioni più piccole che vanno da un intero centro dati fino a pochi rack.

Il potere del cloud è dato dal fatto che può essere forzato e inserito in compiti così disparati come un supercomputer basato sul cloud, alla webmail, alla semplice archiviazione di documenti. Su un singolo cluster cloud, Google può ospitare e servire petabyte di video di YouTube e memorizzare tutte le vostre e-mail e documenti. Di tutte le sfaccettature del cloud, però, oggi ci concentreremo sul cloud storage.

Un data center Microsoft

Mentre lo storage potrebbe non essere così sexy come terabyte di RAM e migliaia di core della CPU, è il modo più affidabile per misurare le dimensioni del cloud, soprattutto quando si tiene conto dell'utilizzo della larghezza di banda. Dalla quantità totale di storage possiamo anche calcolare il costo del cloud storage - e da lì, possiamo finalmente capire perché artisti del calibro di Google, Microsoft e Dropbox stanno cadendo su se stessi per fornire servizi di cloud storage.

Come la storia del porno, inizieremo prima con alcuni numeri teorici, per poi passare ad alcune cifre del mondo reale (e hardware) da Backblaze, un fornitore di backup cloud.

Petabyte

Per la maggior parte, i numeri reali delle grandi aziende, come Google, Facebook, Amazon e Microsoft, sono pochi e lontani tra loro. Se si setaccia il web, però, emergono alcune cifre approssimative:

• Facebook, nella sua presentazione per l'IPO, ha detto che memorizza oltre 100 petabyte (PB) di media (foto e video). Non è irrealistico dire che Facebook probabilmente ha una capacità totale di archiviazione ben oltre, una volta che si tiene conto dei backup e degli altri dati (aggiornamenti di stato, "mi piace" e così via), forse nell'ordine dei 300PB.
• Microsoft ha recentemente ammesso che Hotmail memorizza oltre 100 petabyte, e che SkyDrive, con "17 milioni di clienti", memorizza 10PB di dati. Come Facebook, la capacità totale di Microsoft, una volta che consideriamo il resto di Azure e le sue proprietà web, è probabilmente ben oltre 300 petabyte.
• Megaupload è relativamente piccolo in confronto, apparentemente memorizzando solo 25 petabyte.
• Amazon, piuttosto che darci un bel numero di petabyte, annuncia invece il numero totale di oggetti memorizzati dal suo servizio di cloud storage S3. Ad aprile 2012, Amazon S3 memorizzava 905 miliardi di oggetti. Se assumiamo una dimensione media di 100KB, sono circa 90 petabyte; se la dimensione media è 1MB, sono 900 petabyte - quasi un exabyte!
• Dropbox, un anno fa, memorizzava "10+ petabyte" di dati. Aveva 25 milioni di utenti allora, e 100 milioni di utenti oggi, quindi a parità di condizioni l'azienda ora memorizza circa 40PB di dati.

Per mettere queste cifre in prospettiva, un computer medio ha probabilmente un disco rigido da 500GB o 1TB, e un petabyte è 1024TB. Come minimo, quindi, i data center di Microsoft e Facebook ospitano più di 100.000 dischi rigidi. Senza costruire hardware personalizzato, è possibile spremere 48 dischi in un contenitore 4U. Dopo aver tenuto conto dei dispositivi di rete, ciò significa che probabilmente si tratta di circa 400 dischi rigidi per rack 40U - o 250 rack, ognuno dei quali occupa circa un metro quadrato di spazio. Questo potrebbe sembrare molto, ma quando si considera che Google, Amazon, Facebook e Microsoft regolarmente lanciano centri dati con piante di oltre 30.000 metri quadrati (300.000+ piedi quadrati), non è davvero molto. Nella grande scala delle cose, molto più spazio è dedicato ai server (cioè alle CPU) e all'attrezzatura di rete.

Bandwidth

Bandwidth-wise, abbiamo ancora meno dati dai big boys. Sappiamo che l'anno scorso venivano salvati un milione di file ogni cinque minuti - quindi oggi, con un numero di utenti quattro volte maggiore, si tratta di 800.000 file al minuto. Amazon S3, che è significativamente più grande di Dropbox, gestisce "650.000 richieste al secondo."

Se assumiamo che il file medio memorizzato su Dropbox sia 500KB (un mix di foto, video e documenti) allora Dropbox memorizza un totale di 400.000 megabyte (0,4TB) al minuto - o 6,7GB al secondo (54Gbps). Non abbiamo dati su quanti dati Dropbox invia al minuto (cioè le persone che scaricano i file dal loro Dropbox), ma è probabilmente nell'ordine di 10-20Gbps.

Amazon S3, che è usato principalmente per memorizzare file statici per i siti web (immagini, fogli di stile, video), ha probabilmente una dimensione media dei file inferiore a Dropbox. Se assumiamo una dimensione media di 100KB per file, allora 650.000 richieste al secondo arriva a un totale di 61 gigabyte di dati trasferiti al secondo, o 488Gbps. Questo è molto vicino alla cifra di 800Gbps che abbiamo stimato per un grande sito porno, che equivale a circa il 2% del traffico internet totale - Amazon è piuttosto grande!

Facebook e Microsoft, con tra 100 e 300PB di storage ciascuno, probabilmente si trovano da qualche parte tra Dropbox e Amazon in termini di utilizzo della larghezza di banda - forse 200Gbps a pezzo.