サイトのルートディレクトリに robots.txt というファイルを作成し、巡回してくるボットの制御をする。
User-Agent: *
Disallow: /来てほしくないディレクトリ
参考
- Web Server Administrator's Guide to the Robots Exclusion Protocol
http://www.robotstxt.org/wc/exclusion-admin.html
書いて忘れて頭スッキリ
サイトのルートディレクトリに robots.txt というファイルを作成し、巡回してくるボットの制御をする。
User-Agent: *
Disallow: /来てほしくないディレクトリ
参考
- Web Server Administrator's Guide to the Robots Exclusion Protocol
http://www.robotstxt.org/wc/exclusion-admin.html
0コメント:
コメントを投稿