网站死链接和tag页没发屏蔽问题，怎么解决？蜘蛛总是能抓去的到

又遇到棘手的问题了，虽然处理的不理想但还是分享一下吧，要是谁有更好的办法还可以借用借用。
前两天我发现百度蜘蛛总是抓去我的分页和年月日页，还有标签。关键是抓去就算了，还是404，有的页面我都不知道在哪里，他就能找到，比如author/zhangbobo/page/这个页面，

我都没地方配置，这个大概应该是我个人页的某个东西，但是就是404，然后就是之前的那个动态路径我从新设置伪静态后，就出现了元链接404的情况，所以我就想着给处理一下，毕竟这天天抓这种页面也不是个事，然后我就用了两种办法，

一，robots文件屏蔽

我在网上找了一下写robots规则的写法，然后给加进去了，我以为这样就可以把这个问题给解决了，突然发现我还是太天真了，这个对其他蜘蛛好像有点用，其他蜘蛛都是抓去的文章页，但是就偏偏这个百度蜘蛛，还是按原来抓去，好像没一定用一样的，不过有一点好处就是抓去不在显示200了，显示404，说明没有抓去成功，我真的服了。然后我又用了第二种方法，

二，百度站长404提交

我之前提交过一次，之前的显示死链删除了，然后我又从新提交的还在抓去正常，然后我过几天看看会不会有效果，

好了今天的分享就到这里了，说多了也挺丢人的。如果也有小白遇到类似的问题也可以按这个方法来试试，虽然没有想象中的那么完美但是总体来说还可以。也希望你遇到同问题的时候能看到我这篇文章吧。