屏蔽“1:Dalvik/2.1.0 (Linux; U; Android 9.0; ZTE BA520 Build/MRA58K)”这个垃圾UA，网站大量这个垃圾UA，屏蔽掉，是个垃圾爬虫。
360搜索的蜘蛛在访问网站时，都会带上带有360Spider签名信息的UA，其形态为： Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider 为满足站长朋友们的
location = / {
if ($http_user_agent !~* (spider|bot|googlebot|bingbot|yandex|msnbot|slurp)) {
&nb
使用宝塔面板的可以添加在Nginx防火墙里面的UA黑名单（自己整理，仅供参考）paloaltonetworksGo-http-clientwebprosbotpythongithublibcurlfasthttpZoominfoBotKnowledge AIRepoLookoutBotseokicksserpstatbot
1.新站上线远离全部百度相关的平台，不提交任何站长相关的操作(避开人工打击)2.已有收录的子域名挑几个做301到新域名，越多越好（引导已有蜘蛛）3.友链平台买几个链接给新站做一下友链(增加新蜘蛛入口)4.网上发布任务，任务内容为：打开新域名并收藏网址到收藏夹（增强人工点击）5.花6块钱购买刷流量10000IP/天，持续一周左右,模式为浏览器直接点开网址(提升真实性因素)6.网站首页内容全部换为文章
User-agent: *
Disallow: /zb_users/
Disallow: /zb_system/
User-agent: Amazonbot
Disallow: /
User-agent: SemrushBot
Disallow: /
在日志中看到来自User Agent go-http-client / 1.1的大量请求The go-http-client/1.1 User Agent 是Google的Bot / Crawler这不是真的。这可能是指Go库（根据您提到的来源，由Google开发，但是我找不到可靠的信息）。之前写过“Go-http-client/1.1 是哪家的爬虫 这次终于知道了”这篇文章，大家可以去看看
5.9.55.228 - - [18/May/2024:21:48:05 +0800] ＂GET /date.html HTTP/1.1＂ 200 5362 ＂-＂ ＂serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)＂Serpstatbot是一种国外的网
备注：改方法适合手动更新，非软件自动运行，如果有能力也可以自己深入研究。（个人分享，百万千万级收录大佬千万别杠！）