[Risolto] Recuperare UserAgent utente - Strani Movimenti

[Risolto] Recuperare UserAgent utente - Strani Movimenti postato il 26/10/2017 09:45:44 nel forum programmazione, open source e hosting e modificato da gdr-online.com il 26/10/2017 15:26:13

Buongiorno, probabilmente questa non è la sezione adatta per porre questa domanda, in caso ditemi dove spostarla o spostatela.
Ho creato un sito molto semplice, senza registrazione ma con dei form da compilare, per un gioco in app, e ho inserito un piccolo script per vedere gli utenti che entrano, l'ip e il borswer che usano, e mi sono accorta che ho ingressi da broswer inesistenti, ne deduco siano bot, non ne so molto in materia, qualcuno può spiegarmi un po' meglio come funziona? sono dannosi? ho letto che cercano nei siti informazioni tipo email o dati particolari, io non ho una registrazione e nel database non ci sono dati degli utenti, se non i punti che hanno fatto nell'app.

26/10/2017 09:55:51

La maggior parte dei BOT che individui sul sito sono dei motori di ricerca (Google, Yahoo, Bing, Yandex ecc.) che scansionano le pagine per poi indicizzarle nel motore.

Creando un file di testo chiamato robots.txt puoi dare le "istruzioni ai BOT". Ovviamente fermare i bot rende l'indicizzazione corretta del sito impossibile.

Ecco un esempio:

User-agent: *
Disallow: /cartella_da_non_indicizzare/
Disallow: /file_da_non_indicizzare.html
Disallow: /cartella_da_indicizzare/file_da_non_indicizzare.html

Con la direttiva User-Agent possiamo indicare con chiarezza a quel spider ci riferiamo (per farlo è sufficiente scriverne il nome, ad es, Googlebot); nell'esempio di sopra abbiamo utilizzato l'asterisco che indica "tutti gli spider"; le direttive che seguono, pertanto, dovranno essere considerate da tutti gli spider che passeranno sul sito!

Pertanto per escludere uno spider specifico (magari perchè ti consuma troppe risorse sul server) puoi usare nel robots.txt:

User-Agent: *
Disallow:

User-agent: SpiderDaBloccare
Disallow: /

Ciao!

26/10/2017 10:00:47

In aggiunta a quanto detto, eccone alcuni di quelli conosciuti

google: https://support.google.com/webmasters/answer/1061943?hl=it ↗
bing: https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0 ↗
yahoo: https://help.yahoo.com/kb/SLN22600.html ↗

26/10/2017 12:19:45

l'importante è che non siano dannosi ne per il server ne per l'utente finale, temevo potessero essere virus

26/10/2017 15:12:27

de1980 ha scritto: l'importante è che non siano dannosi ne per il server ne per l'utente finale, temevo potessero essere virus

no no.. stai serena ;)