标签： 爬虫协议有效性

网站被黑生成大量xx网址被收录，全部 404，无法整理所有网址且网址结构不规则，遇到这个情况都怎么处理 ？ 已经收录的话，site 后，将所有收录的可以提交 404 ，然后 robots 禁止百度爬取目...