• 入梅,湖北防汛如何应对 2019-12-07
  • 江西分宜:千年古镇龙舟竞渡 2019-12-01
  • 高举新时代理论的大旗,为实现中华民族伟大复兴努力奋斗! 2019-12-01
  • 巴州志愿者一万个粽子送民警 2019-11-26
  • 中国石化:拟发行可交换公司债 募资不超500亿元 2019-11-23
  • 【中国梦·大国工匠篇】 “跨界”复苏失传百年工艺 蔺涛:坚守让古砚焕发新生 2019-11-23
  • “党员学习微平台”微信账号正式上线 2019-11-14
  • 你总是不怕风大扇了舌头。另外,你的帖子我仍然是根本就没看,我对你的这类帖子不感兴趣,因为这没有什么用处,只会挑起无谓的争论。因为你是在预测遥远的未来,遥远的未来 2019-11-14
  • 红枣食疗效果好 6种吃法最滋补-美食资讯 2019-11-09
  • 8°度桓龙湖金色典范猕猴桃酒500ml【价格 品牌 图片 评论】 2019-11-06
  • 长治市民今后办理出入境业务可享受“一网通 一次办” 2019-11-06
  • 田夏彪学习、创新、反思:教育改革的关键词 2019-11-05
  • 事实说问题,怎会是没好也得好。 2019-11-05
  • 回复@老老保老张工:计划不要批准?那不还是你自己做主?有必要走形式么? 2019-11-02
  • 宝沃推全新纯电动SUV最高时速150km 2019-11-02
  • 当前位置:河南麻将规则 ? 新手建站 ? 正文

    11.27 12.28
    11.27 12.28

    河南麻将游戏:站长吐槽:头条搜索爬虫暴力抓取网站内容

    1238 人参与  2019年11月09日 22:48  分类 : 新手建站  点这评论
    最近有站长在网上发文吐槽表示,字节跳动为了快速发展搜索业务派出爬虫四处暴力抓取网站内容,部分配置较低的网站已经直接瘫痪,给中小网站主们造成了很大的损失和困扰,严重影响了网站正常的用户访问。
    该站长表示,今年7月份,他突然发现公司的网站经常性打不开,网页加载极其缓慢,有时甚至直接瘫痪。经过一系列排查后,在服务器日志上发现了bytespider爬虫的痕迹。
    该爬虫抓取的频率每天达几百万次,高则上千万次,服务器带宽负载飙至100%,而且该爬虫在抓取时完全不遵守网站的robots协议。
    该站长顺着该爬虫的IP地址查询,证实,该爬虫就是字节跳动的搜索爬虫。
    并且,在CSDN、V2EX等技术论坛也了解到,从字节跳动开始做搜索之后,其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音,遭受字节跳动的搜索爬虫暴力抓取的不是个例,很多小网站他们也没放过。
    有小网站主抱怨表示:字节跳动的爬虫“一上午对网站发出46万次请求”,网站都瘫痪了,百度也没有这么折腾的!
    最后,该站长表示,像我们这样做SEO的人来说,主要工作目标就是希望自己家网站能在主流搜索引擎的搜索结果中排在前面的位置,“对于像百度、搜狗、360等搜索引擎的规范抓取和收录各位站长都是非?;队?,但是头条搜索爬虫这样疯狂爬取内容网站都给整瘫痪了,不仅没给网站带来流量,还影响了正常的用户访问,这就很不“讲究”了。
    但是对此,字节跳动的回应则是,“网络报道不实,目前头条搜索设有反馈机制,网站因为爬虫受到影响,可以直接通过邮件反馈处理?!泵飨允遣蛔急刚婊赜Φ?。
    所以通过头条搜索爬虫暴力抓取网站内容来看,磊哥个人觉得,字节跳动入局全网搜索搅动搜素市场是好事,但是为了快速崛起让自己家爬虫四处暴力抓取,就有问题了,大网站服务器配置高,技术人员多还好,很多小网站根本就顶不住字节跳动的搜索爬虫这么折腾。

    河南麻将规则 www.wqjue.tw 搜索引擎的索引数据是靠点滴积累起来的,百度、搜狗.360经历了那么多年的发展积累才走到今天,头条搜索想要疯狂爬取内容,“一口吃个胖子”,只会让站长们远离。

    整理自站长那点事

    来源:河南麻将规则(微信/QQ号:779178376),转载请保留出处和链接!

    本文链接://www.wqjue.tw/post/1961.html

    12.14
    12.14

    本文标签:新手建站  

    << 上一篇 下一篇 >>

    • 评论(6)
    • 赞助本站

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

    紫菜头网赚公众平台

    image

    我是广告

      文字广告位

    河南麻将规则 | 河南麻将规则 |

  • 入梅,湖北防汛如何应对 2019-12-07
  • 江西分宜:千年古镇龙舟竞渡 2019-12-01
  • 高举新时代理论的大旗,为实现中华民族伟大复兴努力奋斗! 2019-12-01
  • 巴州志愿者一万个粽子送民警 2019-11-26
  • 中国石化:拟发行可交换公司债 募资不超500亿元 2019-11-23
  • 【中国梦·大国工匠篇】 “跨界”复苏失传百年工艺 蔺涛:坚守让古砚焕发新生 2019-11-23
  • “党员学习微平台”微信账号正式上线 2019-11-14
  • 你总是不怕风大扇了舌头。另外,你的帖子我仍然是根本就没看,我对你的这类帖子不感兴趣,因为这没有什么用处,只会挑起无谓的争论。因为你是在预测遥远的未来,遥远的未来 2019-11-14
  • 红枣食疗效果好 6种吃法最滋补-美食资讯 2019-11-09
  • 8°度桓龙湖金色典范猕猴桃酒500ml【价格 品牌 图片 评论】 2019-11-06
  • 长治市民今后办理出入境业务可享受“一网通 一次办” 2019-11-06
  • 田夏彪学习、创新、反思:教育改革的关键词 2019-11-05
  • 事实说问题,怎会是没好也得好。 2019-11-05
  • 回复@老老保老张工:计划不要批准?那不还是你自己做主?有必要走形式么? 2019-11-02
  • 宝沃推全新纯电动SUV最高时速150km 2019-11-02
  • 极速飞艇彩票官网软件 河南快赢481视频在线直播 娱乐场所垃圾桶 河北快三正文 上海时时彩票开奖结果查询双色球 现在做天猫还能赚钱 江苏快三是什么彩票 三分彩 河北11选5任三技巧 双色球2017129杀红球