-
屏蔽百度之外的其他搜索引擎访问根目录
在wordpress建站或者是做SEO站内优化时，经常会遇到一些不友好的爬虫进行网站抓取，这样很容易导致网站访问流量过大，有些配置不高的就很容易宕机。因此如何处理？ 可以采用Robots.txt文件来进行屏蔽，告知这些爬虫不要来抓。 示例爬虫说明 从上图看可以得出这是假蜘蛛，可以直接将IP ping下，如图： 毫无疑问，这种属于假蜘蛛，因为IP地址与UA Bytespider的真实爬虫地址不符的，一般字节蜘蛛会有详细的UA及IP字段，所以这种可以直接禁止爬。那具体怎么书写robots规则？ 禁止…
