Google-Extended

现在网站 SEO 优化正在经历从搜索引擎到 AI 的急剧变化。站长们不管愿不愿意都会面临着如何管理自己原创的内容被 AI 使用？现在看到有的虚拟主机商家将自动创建llms.txt 作为卖点，我也开始关注llms.txt，llms.txt编写几乎跟 robots。txt没啥区别，不同的地方就是llms.txts 是给 AI 看的，与其抵抗不如加入。 什么是ll...

昨天本站发了终极 Robots.txt 屏蔽规则，主要是建立一个黑名单，屏蔽那些只消耗资源、不带来价值的垃圾蜘蛛和高耗能爬虫。今天想着整理站点的 robots.txt，在里面加了一些允许 AI 爬虫爬取本站内容。 以前我对 AI 爬虫抓取网站内容相当反感，主要是原创内容被无偿用于模型训练。随着对 AI 的了解，我在使用 AI 过程中感受到 AI 的强大，并且...

现在对于网站站长特别是大站来说，是否需要禁止 ChatGPT、Google Bard 等 AI 蜘蛛抓取内容用于训练 AI 处于两难，一是这是一个趋势，生成式 AI 和搜索引擎的融合是必然，而且速度越来越快；二是自己辛辛苦苦写的内容得不到可预期的利益的时候，凭什么被 AI 抓取训练，网站可以获得什么？毕竟 AI 抓取跟搜索引擎抓取内容是不一样的，搜索引擎抓取...