资讯内容页面不收录，到底是谁惹的祸？

发布时间：2018-10-09

　　里约奥运会结束了，资讯站点的小编们终于可以松口气了，可有些SEOer却高兴不起来：编辑辛苦抢先制作的原创稿件，百度却不!收!录!院长奥运会期间接到了四五起这样的反馈，经追查，原来是站点的抢发行为不够友好，导致spider抓取失败。结论：
　　1，页面制作完成后再放到spider可以发现的地方，这样才能达到好的抓取效果。
　　2，页面未对外公开之前，千万不要通过工具推送给百度呀。
　　接到站长反馈后，院长联系了spider工程师，工程师在后台查询了这些未收录的链接，发现均显示为“死链”，然而这些所谓的死链现在访问都是好好的。根据后台显示的抓取时间，院长反复和站点进行沟通，终于找到了根源：原来，站点为了抢新闻，提前制作了新闻稿并制作成链接并且发布，虽然没有在首页等重要页面推送给用户，但却被BaiduSpider发现，更重要的是，这些链接向BaiduSpider返回的状态码是404。
　　举个例子，中国女排进入决赛后，某网站做了A和B两个页面，分别为夺冠和摘银，为了防止用户在比赛结束之前阅读到页面内容，站点将两个链接都设置为404!404!(等到比赛结束后，再将其中一个页面的html返回码改为200)。虽然页面并没有向用户推送，但还是被聪明的BaiduSpider发现。然而这里的问题是，BaiduSpider发现页面是404，又无法判断出这是一个重要页面，于是直接打入冷宫不再理睬。
　　所以，学院反复强调，确认页面真的不需要被搜索引擎保留时可以使用404(临时闭站可使用百度站长平台的闭站保护工具)，如果还希望和搜索引擎保持友好关系的话，请使用503，防止页面被删除。虽然Baidu有对高价值内容的“删除保护”功能，但毕竟不是每个站点都可以享受到这个特权的。