看到了一个神奇的 UA

/ dousha

抱歉,我还是没能忍住对着虚空喊话的寂寞,打开了 Nginx 访问日志想看看是否有活人在看我写的东西。Nginx 日志中,一个十分特殊的 UA 字符串引起了我的注意。

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3

就是这个玩意,经常出现,而且每次都只是访问一下主页。更有趣的是,它会同时把主页需要用到的 CSS 和 JS 也一并加载下来。它的访问频次并不高,最多每分钟不到 10 次访问量。

很明显是某种机器人的访问。会是 AI 么?但 AI 总结也没理由说只访问一个首页然后啥也不管了吧。我试着让 DeepSeek 读取了我的页面,后台蹦出的 UA 是这样的:

Mozilla/5.0 (X11; Linux x86_64; rv:142.0) Gecko/20100101 Firefox/142.0

同时,它也会自己去访问各种其他子页面。

而豆包则懒得启动它的无头浏览器——它会直接索引字节蜘蛛已经爬取好的页面。ChatGPT 开免费版的话,即使启用了联网搜索也是一样会从内部的索引已经爬取过的信息。

从访问 IP 地址来看的话,貌似集中在徐州。怎么就阴魂不散呢!但原先在徐州又知道有这么个网站的活人,现在应该都已经搬走了才对。

如果你让 AI 给你写一个网站爬取工具,并且说有伪装 UA 的需求的话,它会生成一个带这个 UA 的 Python 脚本,一字不差。

也许是那谁家的小谁搞的脚本吧。还有其他事情要做的我就先把这事扔到了一边。

无聊的刷流

过了几天,再次盘查日志,好么,这回给我换成 IPv6 的地址了,连首页都不开了,就逮着我的那几个 JS 脚本猛薅,每次都还给我换一个 UA 访问。UA 伪装你赖好选一点现代点的浏览器啊,你选 Opera/9.46 (Windows 95; en-US) Presto/2.9.308 Version/12.00 这种玩意是巴不得让别人看出来你有问题吗?哦我懂了,这个玩意是你(或者 AI)从 https://fauxid.com 上拽下来直接用的。

问题是这玩意每小时也就能搞 200MB 的流量,刷了有什么意思呢?当然,虽然体量不大,但是俺也实在不想掏这个流量费,不好意思,整个江苏先安排上了。

好在这个刷流玩意倒是没有傻乎乎地继续尝试,每个节点访问失败了三四次后没有再继续。但是之前那个徐州的 IP 地址段又出现了,而且又在访问主页。真不愧是「人杰地灵」嗷。

题外话:YisouSpider 还活着

在整理访问日志的时候,还发现了 YisouSpider 这个东西。别人家的蜘蛛都知道在 UA 里面带上自己的联系信息,你可倒好,就光秃秃的一个 YisouSpider. 是怕别人认出来谁是你的东家么?

更有意思的是,它在爬取的过程中,仍然会尝试去爬带 ?replytocom 的页面。我都已经放弃 WordPress 很久了,这站点早就没有任何一个地方能让你获取到带 ?replytocom 的链接了啊!这玩意到底是从哪来的?

不是哥们,当时大家吐槽的就是你不遵守 robots.txt、并发量高到堪比 CC 攻击以及瞎爬取一些没必要的页面,合着现在还不忘初心呢?直接 WAF 拦截安排。

正在加载评论……

发表评论

您的评论将由管理员审核后方可公开显示。

Your comments will be submitted to a human moderator and will only be shown publicly after approval.