其他杂项

others
其他系统相关杂项问题

如何屏蔽PetalBot蜘蛛等垃圾蜘蛛办法分享

6个月前 (10-09)其他杂项2415

本人有一个 小网站,后台可以查看蜘蛛数据,经常发现有许多国外蜘蛛爬取。作为一个面向国内特定地域用户的网站,着实用不着那些蜘蛛来消耗资源,网上找到一段Nginx配置代码,加上后很灵敏,那些国外蜘蛛第二天就不来了。

 if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}

不过这几天又冒出来许多莫名其妙的蜘蛛,以114.119和114.225IP段开头,查询IP地址为新加坡华为云,例如

huawei.jpg

由于都是华为云IP,网上搜素华为蜘蛛相关关键词,找到一篇文章:华为搜索爬虫不遵守协议高频抓爬如DDoS攻击让国内外许多网站痛苦不堪

看来华为蜘蛛黑历史早就有之。然后我查看网站log,发现该蜘蛛名字为PetalBot,中文名翻译过来就是华为花瓣搜索引擎蜘蛛。PetalBot介绍参考资料


版权声明:本文由贝联科技发布,如需转载请注明出处,如需分享可点击上方生成海报按钮。

分享给朋友:

相关文章

如何给网站文章页前面自动加个目录导航

如何给网站文章页前面自动加个目录导航

一些网站文章正文前有个目录导航,这是根据本文的h标签自动添加上去的,一些朋友可能需要这样的功能,其实本站文章页面也是如此显示,但此种写法只适用Zblog系统,下面给出个通用方案。要实现的效果类似下图修改简要文字说明本文分享具体代码,主要涉及...

苹果手机屏蔽iOS18系统更新方法+描述文件免费下载

苹果手机屏蔽iOS18系统更新方法+描述文件免费下载

屏蔽IOS18系统更新说明苹果手机有很不错的用户体验,但苹果IOS系统总是提示自动更新,对一些有特殊版本需求的朋友来说,这点就很讨厌了。贝联科技在此分享苹果IOS系统屏蔽自动更新18系统的最新办法和描述文件,希望对您有所帮助。特别说明,本方...

WIN10系统Edge浏览器如何启用IE模式访问网银网站

WIN10系统Edge浏览器如何启用IE模式访问网银网站

因为本人需要和长安银行每季度进行网银对账,每每碰到Win10系统不好登录长安银行网银网站问题,在此分享解决办法。不得不说这些银行真的落伍,什么年代了还让客户必须用IE浏览器访问你的网站才可以登录。微软公司启用了谷歌内核的Edge浏览器,不再...

PbootCMS后台去版权显示教程

PbootCMS后台去版权显示教程

PbootCMS是一个很不错的PHP建站系统,但后台一些明显的PbootCMS字样看着不舒服,本人在此分享下自己和其他网友总结出来的经验。特别说明,本人只是修改一些明显的碍眼字样,请大家一起尊重PbootCMS 知识产权。(一)后台登录界面...

Zblog搜索无结果时增加一个友好提示

Zblog搜索无结果时增加一个友好提示

Zblog是个不错的博客程序,但官方不知道怎么回事不去用心完善一些基本功能,我使用时就频频发现一些缺陷bug,都有些怀疑官方故意如此是为了卖付费插件增加收入。上次发了通过修改js文件,避免前台空搜索bug的解决办法。还有一个不大不小的问题,...

宝塔Nginx环境下让404打不开页面自动跳转到首页

宝塔Nginx环境下让404打不开页面自动跳转到首页

因为前段时间更改了西京同城导航网站的程序,导致以前许多页面打不开,看在眼里急在心里,如何解决呢?第一步:登录宝塔后台网站设置的伪静态规则页面,一律删除以前程序用到的伪静态规则第二步:利用万能的百度后知道在配置文件中需要添加以下代码serve...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。
现在,非常期待与您的又一次邂逅

我们努力让每一次邂逅总能超越期待

智能客服
欢迎咨询智能客服,我可以回答些简单问题