Qual è la legalità del web scraping?

È un argomento abbastanza complesso. Dipende dal sito web, i dati che stai raschiando, cosa vuoi fare con i dati. La legalità del webscraping dipende anche da dove siete basati e quale legislazione si applica a voi. Se avete un caso d'uso specifico in mente è sempre bene controllare con un avvocato specializzato per assicurarsi che il caso d'uso sia legale.

Controllate le regole del sito web:

Questa è la prima tappa per controllare la legalità del vostro caso d'uso.

La maggior parte dei siti web hanno un file robots.txt che dice ai bot quali dati non devono raschiare. Potete per esempio guardare il robot.txt di Quora: I bot non sono autorizzati a indicizzare i dati su chi segui e chi ti sta seguendo su Quora.

Controlla se i dati che hai intenzione di usare sono protetti:
Alcuni dati, come le informazioni personali, sono legalmente protetti. Anche se informazioni come il mio nome sono pubbliche su Quora, estrarle senza il mio consenso è contro diverse leggi sulla protezione dei dati. La legislazione sulla protezione dei dati personali è un argomento vasto in sé. Dipenderà molto dalla vostra posizione. Il GDPR, per esempio, vi imporrà restrizioni significative in Europa.

È necessario anche prestare particolare attenzione ai dati sensibili come le opinioni politiche e le credenze religiose. Se il caso di utilizzo richiede questi dati è probabile che sia illegale.

Verifica cosa farai con i dati:

La legalità del webscraping è anche condizionata dallo scopo dei dati. Esiste il principio del fair use. Per esempio, per pubblicare una classifica, si può raschiare una lista di influencer di Quora. Stai essenzialmente promuovendo quegli individui, dando loro valore. Non vi sarà permesso di raschiare Quora per inviare un'offerta di vendita personalizzata a seconda delle domande poste dai clienti. Il fair use può essere interpretato in una varietà di modi, quindi non è mai un taglio netto.

Anche il modo in cui il vostro processo conta molto. Per esempio, se avete un processo per rendere anonimi i dati, potreste raccogliere e lavorare con dati sensibili.