In Android, come fanno le app di messaggistica come Viber e WhatsApp a mantenere il loro servizio in background?

Non tengono in vita nessun servizio in background.

A partire da Android 4.4, tutti i servizi vengono eseguiti mentre l'app è in primo piano. Questo è stato introdotto per ridurre l'uso della batteria, solo alcuni servizi di sistema continuano a funzionare in background, compreso il servizio play... Torniamo alla tua domanda: Come fanno le app di messaggistica a mantenere vivo il loro servizio in background?

Come risposto sopra. Non mantengono un servizio in esecuzione che ascolta costantemente le notifiche, invece usano le notifiche push che notificano alle loro app che un messaggio per esempio è stato ricevuto e poi avviano un servizio per costruire la notifica che appare sullo schermo.

È importante non confondere le notifiche push (messaggi) con le notifiche (visive) che si vedono sullo schermo. Le notifiche push sono solo messaggi che possono contenere dati, si può chiamare un servizio che analizza i dati e scegliere quale azione è fattibile, scaricare contenuti in background per esempio o nella maggior parte dei casi costruire una notifica visiva che l'utente vedrà (notifiche whatsapp o viber) con NotificationBuilder in Android per esempio, dipende dal vostro caso d'uso.

È anche possibile utilizzare notifiche push nella vostra app, date un'occhiata a Firebase Cloud Messaging | Send notifications across platforms for free | Firebase . Ed è gratis.