Generatore di robots.txt

Che cosa fa robots.txt

Un file robots.txt indica ai crawler quali parti di un sito devono visitare, saltare o trattare con regole speciali prima di iniziare a recuperare le pagine.

Come aiuta questo generatore

Questo strumento permette di scegliere una policy di indicizzazione predefinita, aggiungere percorsi espliciti da consentire e da non consentire, impostare un ritardo di indicizzazione facoltativo e aggiungere direttive sitemap o host senza dover modificare il file manualmente.

Casi d'uso comuni

• Blocca aree di amministrazione, pagine di ricerca, filtri o strumenti interni dall'accesso ampio del crawler.
• Consenti a una sezione del sito impostata su privato per impostazione predefinita di esporre solo alcuni percorsi pubblici.
• Pubblica la posizione principale della mappa del sito in modo che i motori di ricerca possano scoprire più velocemente nuovi URL.
• Crea un modello robots.txt iniziale per le checklist di staging, migrazione e lancio.

Buone pratiche e limitazioni

Robots.txt è una direttiva di indicizzazione, non un sistema di controllo degli accessi, pertanto i contenuti sensibili dovrebbero comunque essere protetti tramite autenticazione o altre restrizioni lato server.

I diversi crawler supportano direttive diverse. Ad esempio, la direttiva host non è universale e crawl-delay potrebbe essere ignorata da alcuni bot, quindi è sempre consigliabile validare le regole finali con i crawler che si intendono utilizzare.