Come si usa
- In Genera, elenca i percorsi da bloccare, spunta i crawler di IA o i motori di ricerca da bloccare e aggiungi gli URL della sitemap. Il robots.txt si aggiorna man mano; copialo o scaricalo.
- In Prova, inserisci un sito web e clicca su Recupera robots.txt, oppure incolla il contenuto.
- Inserisci l’URL da provare e scegli un crawler. Il risultato dice se può scansionare ed evidenzia la riga corrispondente.
Opzioni spiegate
- Regole di corrispondenza
- Come nella specifica di Google: vale il gruppo che corrisponde meglio al nome del crawler, vince il percorso corrispondente più lungo, Allow vince in caso di parità e sono supportati * e $.
- Crawl-delay
- Secondi tra una richiesta e l’altra. Bing e altri lo rispettano; Google e Baidu lo ignorano.
Un esempio svolto
Ecco un robots.txt che blocca una cartella ma apre una sottocartella, blocca i file PDF e tiene fuori del tutto un crawler di IA:
User-agent: *
Disallow: /private/
Allow: /private/press/
Disallow: /*.pdf$
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlLa scheda Prova dà queste risposte:
| Crawler | Percorso URL | Risultato | Riga determinante |
|---|---|---|---|
| Googlebot | /blog/post | Consentito | Nessuna regola corrisponde |
| Googlebot | /private/data | Bloccato | Disallow: /private/ |
| Googlebot | /private/press/kit | Consentito | Allow: /private/press/ (vince la corrispondenza più lunga) |
| Googlebot | /files/a.pdf | Bloccato | Disallow: /*.pdf$ |
| Googlebot | /files/a.pdf?x=1 | Consentito | Il $ significa che l’URL deve terminare lì |
| GPTBot | /blog/post | Bloccato | Disallow: / nel suo gruppo |
| Googlebot | /robots.txt | Consentito | Il file stesso è sempre scansionabile |
Googlebot usa il gruppo * perché nessun gruppo lo nomina, mentre GPTBot usa il proprio gruppo e ignora le regole *. La corrispondenza segue la RFC 9309, che definisce solo User-agent, Allow e Disallow. Sitemap e Crawl-delay sono estensioni molto usate che la RFC non definisce.
Domande frequenti
Il robots.txt tiene una pagina fuori dai risultati di ricerca?
Non del tutto. Chiede soltanto ai crawler di non scaricare la pagina; se altri siti la linkano, l’URL può comunque essere indicizzato. Usa un tag noindex per le pagine che devono restare fuori e non bloccarle nel robots.txt, altrimenti i crawler non vedranno mai il noindex.
Bloccare i crawler di IA funziona?
I crawler ufficiali come GPTBot, ClaudeBot e Google-Extended dichiarano di rispettare il robots.txt, quindi bloccarli impedisce di usare le tue pagine per l’addestramento. I crawler che ignorano lo standard non si possono fermare così.
Chi scarica il robots.txt?
Il nostro server richiede il robots.txt nella radice del sito, solo quel file. La prova di un contenuto incollato avviene interamente nel tuo browser.
Privacy
I file vengono caricati tramite HTTPS per l'elaborazione ed eliminati automaticamente entro un'ora.