robots.txt ジェネレーター

robots.txtファイルを生成

robots.txtファイルは検索エンジンのクローラーにサイトのどのページにアクセスできるかを伝えます。生成したファイルをドメインのルートに配置してください。

すべてブラウザ内で動作 — サーバーには何も送信されません。

よくある質問

Allow: /とは何ですか？ すべてのボットがサイト全体をクロールできることを示します。

ブロックするページを全部書く必要はありますか？ いいえ — ブロックしたいパスのプレフィックスだけ指定してください。