Robots.txt Generator

Wat robots.txt doet

Een robots.txt-bestand vertelt crawlers welke delen van een site ze wel, niet of alleen met speciale regels mogen behandelen voordat ze pagina's gaan ophalen.

Hoe deze generator helpt

Met deze tool kunt u een standaard crawlbeleid kiezen, expliciete toegestane en niet-toegestane paden toevoegen, een optionele crawlvertraging instellen en sitemap- of hostrichtlijnen toevoegen zonder het bestand handmatig te hoeven schrijven.

Veelvoorkomende gebruiksscenario's

• Blokkeer beheerdersgebieden, zoekpagina's, filters of interne tools voor brede crawlingtoegang.
• Sta toe dat een standaard privégedeelte van een website slechts enkele openbare paden weergeeft.
• Publiceer de locatie van de hoofdsitemap, zodat zoekmachines nieuwe URL's sneller kunnen vinden.
• Maak een basisbestand voor robots.txt aan, dat als sjabloon dient voor staging, migraties en lanceringschecklists.

Beste praktijken en beperkingen

Robots.txt is een crawl-richtlijn, geen toegangscontrolesysteem. Gevoelige inhoud moet daarom nog steeds worden beschermd met authenticatie of andere serverbeperkingen.

Verschillende crawlers ondersteunen verschillende richtlijnen. De host-richtlijn is bijvoorbeeld niet universeel en crawl-delay kan door sommige bots genegeerd worden. Controleer daarom altijd je uiteindelijke regels voor de crawlers die voor jou relevant zijn.