robots.txt编写

现在对于网站站长特别是大站来说，是否需要禁止 ChatGPT、Google Bard 等 AI 蜘蛛抓取内容用于训练 AI 处于两难，一是这是一个趋势，生成式 AI 和搜索引擎的融合是必然，而且速度越来越快；二是自己辛辛苦苦写的内容得不到可预期的利益的时候，凭什么被 AI 抓取训练，网站可以获得什么？毕竟 AI 抓取跟搜索引擎抓取内容是不一样的，搜索引擎抓取...

网站被黑生成大量xx网址被收录，全部 404，无法整理所有网址且网址结构不规则，遇到这个情况都怎么处理 ？ 已经收录的话，site 后，将所有收录的可以提交 404 ，然后 robots 禁止百度爬取目录，然后正常更新。这种情况会造成非常严重问题，百度后续不会收录，需要慢慢养，以前秒收，现在周收。 一定要能整理尽量整理，然后做一个 404 页面，告诉蜘蛛已删...