robots.txtの意外な仕様

artonさんのとこ経由での話題。

http://d.hatena.ne.jp/kkkkkkkk/20061012/p2にある/robots.txtの内容が/diary/robots.txtで上書きされないという話ですが、http://www.robotstxt.org/wc/exclusion-admin.htmlに明記されています。

Note that there can only be a single "/robots.txt" on a site. Specifically, you should not put "robots.txt" files in user directories, because a robot will never look at them

意外といえば意外ですが、深いディレクトリをクロールしようとしたら、各階層を絨毯爆撃しなきゃいけなくなるので、当たり前といえば当たり前かもしれません。