robots.txt 生成器
即时生成 robots.txt 文件——允许爬虫、阻止路径、添加 sitemap。无需上传。
每行一个路径（如 /admin）
输出
生成 robots.txt 文件
robots.txt 文件告知搜索引擎爬虫哪些页面或部分可以或不可以访问。将生成的文件放置在域名根目录下（例如 https://example.com/robots.txt）。
所有操作在浏览器中进行——不会向服务器上传任何内容。
常见问题
Allow: / 是什么意思？ 表示允许所有爬虫抓取整个网站。
需要列出每个要屏蔽的页面吗？ 不需要——只需列出要阻止的路径前缀即可。