SEO TOOL
robots.txt生成ツール
サイトURLと巡回を拒否したいパスを入力するだけで、robots.txtを作成できます。設定が分からない場合は「サイト全体を許可」のまま使ってください。
SitemapのURLを自動で追加するために使います。
入力内容は外部サーバーへ送信せず、このページを開いているブラウザ内だけで処理します。
robots.txtの作り方
- サイトのURLを入力します。
- 必要なら、管理画面など巡回させたくないパスを1行ずつ入力します。
- 生成結果を確認してコピーするか、robots.txtとして保存します。
- ファイルをサイト直下へ設置し、
/robots.txtで開けることを確認します。
生成される基本形
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap-index.xml公開前の確認
Disallow: /で全体を塞いでいないか- CSSやJavaScriptなど、表示に必要なファイルを塞いでいないか
- Sitemap URLが実際に開けるか
注意:robots.txtはアクセス制限や秘密保持の機能ではありません。非公開ページには認証を設定してください。