robots.txt生成
複数の User-agent ごとに Allow / Disallow ルールや Crawl-delay を設定し、Sitemap 行を含む robots.txt を生成できます。
ルール入力
現在の設定
| User-agent | Crawl-delay | ルール数 |
|---|
| User-agent | 種別 | パス |
|---|
agent 数
0
rule 数
0
Sitemap
1
行数
0
このツールについて
robots.txt生成ツールは、検索エンジン向けのクロール制御ルールを整理しながら書き出すためのページです。User-agent ごとの Disallow と Allow を分けて管理できるので、管理画面や一時ファイルの除外設定を見通しよく作れます。
Crawl-delay と Sitemap 行も同時に扱えるため、基本的な robots.txt を 1 画面でまとめて用意できます。プレビューはそのままテキストファイルとして保存できるので、サーバー配置前の草案づくりにも向いています。
ブラウザ内だけで生成するため、サイト URL やルールを外部へ送信しません。サンプルを起点にしてから、自分のサイト構成に合わせて path を追加していく使い方が効率的です。
使い方
- まず「Sitemap URL」を入力または選択し、「User-agent」や「Crawl-delay」も目的に合わせて調整します。
- 次に「User-agent追加」を実行して、「robots.txt プレビュー」を更新します。
- 最後に表示された「robots.txt プレビュー」を確認し、必要であれば「コピー」で再利用します。
生成結果やプレビューはその場で確認し、実装先へ貼り付ける前に値の整合性を見直すと安心です。ブラウザ内で完結するため、下書きや検証の往復を短くできます。
robots.txtとは？
複数の User-agent ごとに Allow / Disallow ルールや Crawl-delay を設定し、Sitemap 行を含む robots.txt を生成できます。 robots.txt生成ツールは、検索エンジン向けのクロール制御ルールを整理しながら書き出すためのページです。User-agent ごとの Disallow と Allow を分けて管理できるので、管理画面や一時ファイルの除外設定を見通しよく作れます。 Crawl-delay と Sitemap 行も同時に扱えるため、基本的な robots.txt を 1 画面でまとめて用意できます。プレビューはそのままテキストファイルとして保存できるので、サーバー配置前の草案づくりにも向いています。 ブラウザ内だけで生成するため、サイト URL やルールを外部へ送信しません。サンプルを起点にしてから、自分のサイト構成に合わせて path を追加していく使い方が効率的です。
よくある質問
Q: このツールは無料ですか？
はい、完全無料で登録不要です。すべての処理はブラウザ内で行われ、データが外部に送信されることはありません。
Q: 「Sitemap URL」と「User-agent」はどう使い分けますか？
基本は「Sitemap URL」から設定し、必要に応じて「User-agent」や「Crawl-delay」で細かく調整します。「User-agent追加」を実行すると「robots.txt プレビュー」へ反映されるので、条件差を見比べながら調整できます。
Q: 「robots.txt プレビュー」はそのまま再利用できますか？
はい。表示された「robots.txt プレビュー」は「コピー」で持ち出しやすく、資料作成や別の実装作業へそのままつなげられます。条件を変えて複数パターンを作り、比較しながら使う運用にも向いています。
Q: スマートフォンでも使えますか？
はい、レスポンシブデザインに対応しており、スマートフォン・タブレットでもご利用いただけます。