现在网站 SEO 优化正在经历从搜索引擎到 AI 的急剧变化。站长们不管愿不愿意都会面临着如何管理自己原创的内容被 AI 使用?现在看到有的虚拟主机商家将自动创建llms.txt 作为卖点,我也开始关注llms.txt,llms.txt编写几乎跟 robots。txt没啥区别,不同的地方就是llms.txts 是给 AI 看的,与其抵抗不如加入。 什么是ll...
昨天本站发了终极 Robots.txt 屏蔽规则,主要是建立一个黑名单,屏蔽那些只消耗资源、不带来价值的垃圾蜘蛛和高耗能爬虫。今天想着整理站点的 robots.txt,在里面加了一些允许 AI 爬虫爬取本站内容。 以前我对 AI 爬虫抓取网站内容相当反感,主要是原创内容被无偿用于模型训练。随着对 AI 的了解,我在使用 AI 过程中感受到 AI 的强大,并且...