Γεννήτρια Robots.txt

Τι κάνει το robots.txt

Ένα αρχείο robots.txt ενημερώνει τους ανιχνευτές για τα μέρη ενός ιστότοπου που πρέπει να επισκεφτούν, να παραλείψουν ή να επεξεργαστούν με ειδικούς κανόνες πριν ξεκινήσουν την ανάκτηση σελίδων.

Πώς βοηθάει αυτή η γεννήτρια

Αυτό το εργαλείο σάς επιτρέπει να επιλέξετε μια προεπιλεγμένη πολιτική ανίχνευσης, να προσθέσετε σαφείς διαδρομές επιτρεπόμενων και απαγορευμένων, να ορίσετε μια προαιρετική καθυστέρηση ανίχνευσης και να προσθέσετε οδηγίες χάρτη ιστότοπου ή κεντρικού υπολογιστή χωρίς να γράψετε το αρχείο χειροκίνητα.

Συνήθεις περιπτώσεις χρήσης

• Αποκλεισμός περιοχών διαχείρισης, σελίδων αναζήτησης, φίλτρων ή εσωτερικών εργαλείων από ευρεία πρόσβαση ανιχνευτή.
• Να επιτρέπεται σε μια ενότητα ιστότοπου που είναι ιδιωτική από προεπιλογή να εκθέτει μόνο μερικές δημόσιες διαδρομές.
• Δημοσιεύστε την κύρια τοποθεσία στον χάρτη ιστότοπου, ώστε οι μηχανές αναζήτησης να μπορούν να ανακαλύπτουν πιο γρήγορα νέες διευθύνσεις URL.
• Δημιουργήστε ένα αρχικό πρότυπο robots.txt για λίστες ελέγχου σταδιοποίησης, μετεγκαταστάσεων και εκκίνησης.

Βέλτιστες πρακτικές και περιορισμοί

Το Robots.txt είναι μια οδηγία ανίχνευσης και όχι ένα σύστημα ελέγχου πρόσβασης, επομένως το ευαίσθητο περιεχόμενο θα πρέπει να προστατεύεται με έλεγχο ταυτότητας ή άλλους περιορισμούς από την πλευρά του διακομιστή.

Διαφορετικά προγράμματα ανίχνευσης υποστηρίζουν διαφορετικές οδηγίες. Για παράδειγμα, η οδηγία κεντρικού υπολογιστή δεν είναι καθολική και η καθυστέρηση ανίχνευσης ενδέχεται να αγνοηθεί από ορισμένα bots, επομένως να επικυρώνετε πάντα τους τελικούς κανόνες σας σε σχέση με τα προγράμματα ανίχνευσης που σας ενδιαφέρουν.