robots.txtとは？
robots.txtは、検索エンジンのクローラーに対して、サイト内のどこを巡回してよいか伝えるテキストファイルです。
基本的な書き方
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap-index.xml設置場所
サイトの一番上の階層に置き、https://example.com/robots.txtで表示できるようにします。
注意点
robots.txtは秘密のページを保護する機能ではありません。個人情報や管理画面の保護には、認証など別の対策が必要です。