说我有一个网站在
http://example.com.我真的希望允许机器人看到主页，但任何其他页面需要阻止，因为它是无意义的蜘蛛。换一种说法
http://example.com&应该允许http://example.com/，但是
http://example.com/anything和http://example.com/someendpoint.aspx应该被阻止。
此外，如果我允许某些查询字符串传递到主页，那将是很好的
http://example.com?okparam=true
解决方法
@H_404_14@ 所以经过一些研究，这里是我发现的 – 主要搜索提供商可以接受的解决方案： google， yahoo& msn(我可以在这里找到一个验证器)：User-Agent: * Disallow: /* Allow: /?okparam= Allow: /$
诀窍是使用$来标记URL的结尾。
