本人有一个 小网站，后台可以查看蜘蛛数据，经常发现有许多国外蜘蛛爬取。作为一个面向国内特定地域用户的网站，着实用不着那些蜘蛛来消耗资源，网上找到一段Nginx配置代码，加上后很灵敏，那些国外蜘蛛第二天就不来了。
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}不过这几天又冒出来许多莫名其妙的蜘蛛，以114.119和114.225IP段开头，查询IP地址为新加坡华为云，例如
由于都是华为云IP，网上搜素华为蜘蛛相关关键词，找到一篇文章：华为搜索爬虫不遵守协议高频抓爬如DDoS攻击让国内外许多网站痛苦不堪
看来华为蜘蛛黑历史早就有之。然后我查看网站log，发现该蜘蛛名字为PetalBot，中文名翻译过来就是华为花瓣搜索引擎蜘蛛。PetalBot介绍参考资料
版权声明：本文由贝联科技发布，如需转载请注明出处，如需分享可点击上方生成海报按钮。
相关文章
WIN10系统Edge浏览器如何启用IE模式访问网银网站
因为本人需要和长安银行每季度进行网银对账，每每碰到Win10系统不好登录长安银行网银网站问题，在此分享解决办法。不得不说这些银行真的落伍，什么年代了还让客户必须用IE浏览器访问你的网站才可以登录。微软公司启用了谷歌内核的Edge浏览器，不再...
宝塔Nginx环境下让404打不开页面自动跳转到首页
因为前段时间更改了西京同城导航网站的程序，导致以前许多页面打不开，看在眼里急在心里，如何解决呢？第一步：登录宝塔后台网站设置的伪静态规则页面，一律删除以前程序用到的伪静态规则第二步：利用万能的百度后知道在配置文件中需要添加以下代码serve...
html5实现字幕滚动代码
网站需要做个字幕滚动效果，以前的marquee写法已过时，网上找了个纯html写法，JS也不需要，比较满意。<!doctype html> <html> <head> <meta&n...
华为云主机重装系统、宝塔环境一点总结
因为朋友的华为云主机出了问题，我需要给重新安装系统和做好一个企业网站。本人也是摸索学习，这里总结下经验，附宝塔官方安装教程步骤一：华为云重装系统打开网址 https://www.huaweicloud.com 登录进入弹...
正则表达式自学教程
因为本人有时需要批量替换改写文章，简单的关键词替换不能满足需求，不得不学习正则表达式，作为一个新手，这里记录一些正则规则和遇到的问题。 一、正则常用到符号含义1.1.第一批正则学习[]匹配列表之中的任何单个字符.例如，"...
pbootcms多语言建站常见问题（转载）
一、如何搭建多语言站？多语言/区域建站用于使用同一个后台建立多语言网站。1、使用步骤1）在后台”系统管理>数据区域”添加相应的区域，具体参考默认区域；2）将多语言的模板放入模板目录，不同语言的模板均放在template目录下；3）在后...
发表评论
- 热门阅读
-
3759 浏览Zblog相关
-
3632 浏览其他杂项
3452 浏览其他杂项
3332 浏览Zblog相关
3054 浏览Discuz点微
- 热评文章
-
1 评论Zblog相关
1 评论Zblog相关
0 评论Zblog相关
0 评论其他杂项
0 评论其他杂项
