Quali sono i pro e i contro di Apache Avro?

Guarda il video qui sotto per capire Apache Avro in profondità.

Lo schema Avro e il suo formato di dati sono spiegati qui.

1. È indipendente dalla piattaforma e può essere scritto in qualsiasi linguaggio, ad esempio Python, Java, C# ecc. Il file Avro usa lo schema per definire i suoi dati di sottolineatura. Tuttavia, è possibile modificare lo schema durante l'elaborazione del file Avro e si possono usare anche campi aggiuntivi che non esistono nel file con valori predefiniti. Ciò significa che se avete due sistemi separati, ad esempio uno ha bisogno di 5 campi per elaborare i dati AVRO in ingresso (che contiene 5 campi). Ora un altro sistema che ha bisogno di 6 campi per elaborare lo stesso file AVRO (tuttavia, ci sono solo 5 campi nel file di dati). Quindi può fornire dinamicamente un 6° campo durante l'elaborazione dei dati con un valore predefinito.
2. Dati binari compressi. E lo schema è in formato JSON (java script object notation) che richiede meno spazio rispetto ai tag XML, quando è compresso. I file Avro sono tabelle divise, quindi possono essere facilmente memorizzati nel file system Hdfs e possono essere elaborati.
3. Schema is part of data file, hence while processing it gets schema information about data in file itself. Using Serialization and De-serialization (SerDe). If you dont have schema definition for your avro file, you can extract schema definition from avro file and use it to process data at runtime.

Avro clearly handles following

1. Missing fields
2. Newly added fields
3. Changed fields

• Old program can read data based on new schema
• New program can read data based on old schema

In Summary :

1. Apache avro is a framework, which can allows you to serialize data that has schema built in.
2. Serializza i dati in un formato binario compatto, che non richiede oggetti proxy.
3. Invece di usare librerie di oggetti proxy generati e la digitazione forte, Avro si basa molto sullo schema che viene inviato insieme ai dati serializzati.
4. Includendo lo schema Avro con il messaggio, aiuta qualsiasi applicazione a de-serializzare i dati.
5. Gli schemi Avro descrivono il formato del messaggio e sono definiti utilizzando JSON