Come scansionare più siti web di notizie usando un'app Android
Posso raccomandare due approcci per raschiare i dati:
- Utilizzare una libreria java web scraping come jsoup sul lato Android
Puoi scaricare il file jar per jsoup e includerlo nel tuo progetto Android. Poi scrivi il codice in java per raschiare il sito web e metti il codice in bundle con la tua app.
jsoup Java HTML parser
Cons:
I siti web possono cambiare il loro formato di dati e il codice che hai scritto e spedito con l'APK si romperà. Dovrai aggiornare il codice e pubblicare l'APK quando cambiano i formati dei siti web.
Il codice potrebbe non funzionare sui siti che usano molti ajax. - Fai web scraping sul lato server (Raccomandato)
Puoi scrivere il codice per lo scraping sul tuo lato server e inviare i dati scraped alla tua app tramite API REST. Nel caso in cui il codice del sito web cambi, saresti in grado di aggiornare il tuo codice server e inviare i dati nel formato giusto rapidamente.
Ci sono tonnellate di potenti librerie disponibili per lo scraping utilizzando Python, JavaScript, Java che ti aiuteranno a scrivere il codice di scraping.
I miei preferiti sono: BeautifulSoup & Selenium
Un tutorial usando BeautifulSoup -
Data Science Skills: Web scraping usando python - Verso la scienza dei dati
Articoli simili
- Quali sono i migliori siti web di notizie in India per ottenere notizie imparziali e più recenti?
- Come recuperare i dati da diversi siti web in un'app? Ho bisogno di fare un'app di notizie per Android. Ho fatto l'UI e il layout dell'app
- Qual è la migliore API di notizie per lo sviluppo di app Android, dove posso trovare tutti i necessari metadati di notizie?
- È possibile sviluppare un'applicazione mobile per iOS e Android che possa scansionare più codici QR allo stesso tempo e memorizzare il valore?