站长吐槽：头条搜刮爬虫暴力抓取网站内容

最近有站长在网上发文吐槽暗示，字节跳动为了快速成长搜刮营业派出爬虫到处暴力抓取网站内容，部门设置较低的网站已经直接瘫痪，给中小网站主们造成了很大的丧失和困扰，严峻影响了网站正常的用户会见。

该站长暗示，本年7月份，他溘然发明公司的网站常常性打不开，网页加载极其迟钝，偶然乃至直接瘫痪。颠末一系列排查后，在处事器日记上发明白bytespider爬虫的陈迹。该爬虫抓取的频率天天达几百万次，高则上万万次，处事器带宽负载飙至100%，并且该爬虫在抓取时完全不遵守网站的robots协议。

该站长顺着该爬虫的IP地点查询，证实，该爬虫就是字节跳动的搜刮爬虫。

而且，在CSDN、V2EX等技能论坛也相识到，从字节跳动开始做搜刮之后，着实收集上就一向有站长诉苦头条搜刮爬虫抓取过于暴力的声音，蒙受字节跳动的搜刮爬虫暴力抓取的不是个例，许多小网站他们也没放过。

有小网站主诉苦暗示：字节跳动的爬虫“一上午对网站发出46万次哀求”，网站都瘫痪了，百度也没有这么折腾的!

最后，该站长暗示，像我们这样做SEO的人来说，首要事变方针就是但愿本身家网站能在主流搜刮引擎的搜刮功效中排在前面的位置，“对付像百度、搜狗、360等搜刮引擎的类型抓取和收录列位站长都长短常接待的，可是头条搜刮爬虫这样猖獗爬取内容网站都给整瘫痪了，不只没给网站带来流量，还影响了正常的用户会见，这就很不“考究”了。

可是对此，字节跳动的回应则是，“收集报道不实，今朝头条搜刮设有反馈机制，网站由于爬虫受到影响，可以直接通过邮件反馈处理赏罚。”明是禁绝备正面回应的。

以是通过甚条搜刮爬虫暴力抓取网站内容来看，磊哥小我私人认为，字节跳动入局全网搜刮搅动搜素市场是功德，可是为了快速崛起让本身家爬虫到处暴力抓取，就有题目了，大网站处事器设置高，技强职员多还好，许多小网站基础就顶不住字节跳动的搜刮爬虫这么折腾。

搜刮引擎的索引数据是靠点滴蕴蓄起来的，百度、搜狗.360经验了那么多年的成长蕴蓄才走到本日，头条搜刮想要猖獗爬取内容，“一口吃个胖子”，只会让站长们阔别!

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!