robots.txt-Generator
robots.txt-Datei sofort erstellen — Bots erlauben, Pfade blockieren, Sitemap hinzufügen. Nichts wird hochgeladen.
Ein Pfad pro Zeile (z. B. /admin)
Ausgabe
robots.txt-Datei erstellen
Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, welche Seiten oder Abschnitte deiner Website sie aufrufen dürfen. Platziere die generierte Datei im Stammverzeichnis deiner Domain.
Alles läuft im Browser — nichts wird an einen Server gesendet.
FAQ
Was bedeutet Allow: /? Es erlaubt allen Bots, die gesamte Website zu crawlen.
Muss ich jede Seite einzeln angeben? Nein — gib nur die Pfad-Präfixe an, die du blockieren möchtest.