大家好，我是飞小优，很多seoer查看网站日志经常会发现一些无良蜘蛛抓取一些不相关的链接，而这些链接在你的网站中也不存在，这种现象着实很烦，那怎么解决？
基于URL连接结构，可以通过正则表达式来添加处理，从上图看，访问的是带有”/article-“字符串的以.html结尾的URL地址,那正则表达式可以写成如下格式：
^/article-.+$或者^/article-.+$
^/article-.+$与/article-.+$ 的区别
^/article-.+$：这个正则表达式会匹配以/article-开头，后面跟随任意字符直到行尾的URL。也就是说，它会匹配所有以/article-开头的URL，不管其扩展名是什么（例如.html,.asp,.php等）。/article-.+$：这个正则表达式也会匹配以/article-开头，后面跟随任意字符直到行尾的URL。注意这里缺少了^符号，这意味着它不仅会匹配以/article-开头的URL，还会匹配任何包含/article-的URL（无论它是否以/article-开头）。因此，这个表达式的范围比第一个表达式要广。
至于以.xx.html 或.xx.asp 或其他扩展名结尾的URL，它们属于正则表达式/article-.+$/xx.html$ 和/article-.+$/xx.asp$ 的范畴，这里的.xx表示任何以.开头的字符串，例如.html, .asp等。不过，如果你想要匹配特定扩展名（如.html或.asp），则应该使用以下正则表达式：
- 对于
.html：^/article-.+\.(html)$ - 对于
.asp：^/article-.+\.(asp)$
这样就能确保只匹配以.html或.asp结尾的URL。以上就是飞优为大家介绍的通过添加URL黑名单禁止垃圾蜘蛛访问网站，这样做有利于SEO。
