SEO策略

昨天本站发了终极 Robots.txt 屏蔽规则，主要是建立一个黑名单，屏蔽那些只消耗资源、不带来价值的垃圾蜘蛛和高耗能爬虫。今天想着整理站点的 robots.txt，在里面加了一些允许 AI 爬虫爬取本站内容。 以前我对 AI 爬虫抓取网站内容相当反感，主要是原创内容被无偿用于模型训练。随着对 AI 的了解，我在使用 AI 过程中感受到 AI 的强大，并且...