robots.txt जनरेटर
robots.txt फ़ाइल तुरंत जेनरेट करें — बॉट अनुमति, पथ ब्लॉक, sitemap जोड़ें। कुछ भी अपलोड नहीं।
प्रति पंक्ति एक पथ (जैसे /admin)
आउटपुट
robots.txt फ़ाइल जेनरेट करें
robots.txt फ़ाइल सर्च इंजन क्रॉलर को बताती है कि आपकी साइट के कौन से पेज वे एक्सेस कर सकते हैं। जेनरेट की गई फ़ाइल को अपने डोमेन के रूट में रखें।
सब कुछ ब्राउज़र में चलता है — सर्वर पर कुछ भी अपलोड नहीं होता।
सामान्य प्रश्न
Allow: / का क्या अर्थ है? इसका मतलब है कि सभी बॉट पूरी साइट क्रॉल कर सकते हैं।
क्या हर पेज को ब्लॉक करने के लिए लिस्ट करना होगा? नहीं — बस वे पथ प्रीफ़िक्स लिखें जिन्हें आप ब्लॉक करना चाहते हैं।