抱歉,我还是没能忍住对着虚空喊话的寂寞,打开了 Nginx 访问日志想看看是否有活人在看我写的东西。Nginx 日志中,一个十分特殊的 UA 字符串引起了我的注意。
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3
就是这个玩意,经常出现,而且每次都只是访问一下主页。更有趣的是,它会同时把主页需要用到的 CSS 和 JS 也一并加载下来。它的访问频次并不高,最多每分钟不到 10 次访问量。
很明显是某种机器人的访问。会是 AI 么?但 AI 总结也没理由说只访问一个首页然后啥也不管了吧。我试着让 DeepSeek 读取了我的页面,后台蹦出的 UA 是这样的:
Mozilla/5.0 (X11; Linux x86_64; rv:142.0) Gecko/20100101 Firefox/142.0
同时,它也会自己去访问各种其他子页面。
而豆包则懒得启动它的无头浏览器——它会直接索引字节蜘蛛已经爬取好的页面。ChatGPT 开免费版的话,即使启用了联网搜索也是一样会从内部的索引已经爬取过的信息。
从访问 IP 地址来看的话,貌似集中在徐州。怎么就阴魂不散呢!但原先在徐州又知道有这么个网站的活人,现在应该都已经搬走了才对。
如果你让 AI 给你写一个网站爬取工具,并且说有伪装 UA 的需求的话,它会生成一个带这个 UA 的 Python 脚本,一字不差。
也许是那谁家的小谁搞的脚本吧。还有其他事情要做的我就先把这事扔到了一边。
无聊的刷流
过了几天,再次盘查日志,好么,这回给我换成 IPv6 的地址了,连首页都不开了,就逮着我的那几个 JS 脚本猛薅,每次都还给我换一个 UA 访问。UA 伪装你赖好选一点现代点的浏览器啊,你选 Opera/9.46 (Windows 95; en-US) Presto/2.9.308 Version/12.00 这种玩意是巴不得让别人看出来你有问题吗?哦我懂了,这个玩意是你(或者 AI)从 https://fauxid.com 上拽下来直接用的。
问题是这玩意每小时也就能搞 200MB 的流量,刷了有什么意思呢?当然,虽然体量不大,但是俺也实在不想掏这个流量费,不好意思,整个江苏先安排上了。
好在这个刷流玩意倒是没有傻乎乎地继续尝试,每个节点访问失败了三四次后没有再继续。但是之前那个徐州的 IP 地址段又出现了,而且又在访问主页。真不愧是「人杰地灵」嗷。
题外话:YisouSpider 还活着
在整理访问日志的时候,还发现了 YisouSpider 这个东西。别人家的蜘蛛都知道在 UA 里面带上自己的联系信息,你可倒好,就光秃秃的一个 YisouSpider. 是怕别人认出来谁是你的东家么?
更有意思的是,它在爬取的过程中,仍然会尝试去爬带 ?replytocom 的页面。我都已经放弃 WordPress 很久了,这站点早就没有任何一个地方能让你获取到带 ?replytocom 的链接了啊!这玩意到底是从哪来的?
不是哥们,当时大家吐槽的就是你不遵守 robots.txt、并发量高到堪比 CC 攻击以及瞎爬取一些没必要的页面,合着现在还不忘初心呢?直接 WAF 拦截安排。
正在加载评论……