Robots.txt जनरेटर

Robots.txt क्या करता है

Robots.txt फ़ाइल क्रॉलर को बताती है कि पेज फ़ेच करना शुरू करने से पहले उन्हें साइट के किन हिस्सों पर जाना चाहिए, किन हिस्सों को छोड़ना चाहिए या किन हिस्सों के साथ विशेष नियमों का पालन करना चाहिए।

यह जनरेटर कैसे मदद करता है

यह टूल आपको डिफ़ॉल्ट क्रॉल नीति चुनने, स्पष्ट रूप से अनुमति देने और अस्वीकार करने वाले पथ जोड़ने, वैकल्पिक क्रॉल विलंब सेट करने और फ़ाइल को मैन्युअल रूप से लिखे बिना साइटमैप या होस्ट निर्देश जोड़ने की सुविधा देता है।

सामान्य उपयोग के मामले

• व्यापक क्रॉलर पहुंच से प्रशासनिक क्षेत्रों, खोज पृष्ठों, फ़िल्टरों या आंतरिक उपकरणों को अवरुद्ध करें।
• डिफ़ॉल्ट रूप से निजी साइट अनुभाग को केवल कुछ सार्वजनिक पथों को ही प्रदर्शित करने की अनुमति दें।
• मुख्य साइटमैप का स्थान प्रकाशित करें ताकि सर्च इंजन नए यूआरएल को तेजी से खोज सकें।
• स्टेजिंग, माइग्रेशन और लॉन्च चेकलिस्ट के लिए एक शुरुआती robots.txt टेम्पलेट बनाएं।

सर्वोत्तम पद्धतियाँ और सीमाएँ

Robots.txt एक क्रॉल निर्देश है, न कि एक्सेस-कंट्रोल सिस्टम, इसलिए संवेदनशील सामग्री को अभी भी प्रमाणीकरण या अन्य सर्वर-साइड प्रतिबंधों के साथ सुरक्षित रखा जाना चाहिए।

अलग-अलग क्रॉलर अलग-अलग निर्देशों का समर्थन करते हैं। उदाहरण के लिए, होस्ट निर्देश सार्वभौमिक नहीं है और क्रॉल-डिले को कुछ बॉट अनदेखा कर सकते हैं, इसलिए अपने अंतिम नियमों को हमेशा उन क्रॉलरों के विरुद्ध सत्यापित करें जिनकी आपको परवाह है।