主机格调
昨天本站发了终极 Robots.txt 屏蔽规则，主要是建立一个黑名单，屏蔽那些只消耗资源、不带来价值的垃圾蜘蛛和高耗能爬虫。今天想着整理站点的 robots.txt，在里面加了一些允许 AI 爬虫爬取本站内容。
以前我对 AI 爬虫抓取网站内容相当反感，主要是原创内容被无偿用于模型训练。随着对 AI 的了解，我在使用 AI 过程中感受到 AI 的强大，并且ChatGPT、Gemini 以及 Copilot 等主流 AI 工具，在其生成的答案中明确提供信息的引用来源链接。我想与其坐以待毙、担心内容被抓取，不如主动出击，让自己的网站成为这些 AI 优先引用来源，如果网站内容被这些 AI 选为答案的参考，那么我的网址就会被直接展示出来，这就是一种全新的、含金量极高的曝光和流量入口，而且这些 AI 工具都被搜索引擎集成，对于从搜索引擎权重考虑也是非常值得操作的。
这个在国外被称为网站运营下一阶段的 SEO，被称为AIO (AI Optimization)。
AIO (AI Optimization)：SEO 的下一个进化阶段
AIO（AI Optimization）其核心目标不再仅仅是让搜索引擎收录页面，而是要让网站成为 AI 模型信赖的、优先引用的“权威信源”。
要实现这一目标，最简单的就是在robots.txt中建立“白名单”，拥抱优质 AI，就是那些提供引用的 AI 爬虫，比如Google-Extended、ChatGPT-User 等，在 robots.txt 中明确设置 Allow 规则。
本站 Robots.txt 配置
这个 Robots.txt 文件 ，增加了 AI 白名单，明确设置 Allow 规则。
很多网上的 Robots.txt 检测工具只认得 User-agent: 和 Disallow: 等最基础的指令。注释#号是用于添加注释的标准语法，目的是理解文件内容。主流搜索 Google, Bing, 百度 都支持并会正确忽略这些注释行，有些检测工具不认识#，就把它当成了错误，实际上一点问题都可以。
代码里面还添加了网站介绍，对搜索引擎：没有直接影响。Googlebot, Baiduspider等爬虫会跳过这些注释，直接读取下面的 User-agent 规则，不会提升 SEO；对访客展示了网站的专业。
# ================================================================ # Welcome to the robots.txt for zhuji.gd (主机格调) # This file reflects a dual strategy: blocking bad bots while # welcoming high-quality AI crawlers that provide citations. # # Website: https://zhuji.gd # Last Updated: August 17, 2025 # ================================================================ # ------------------------------------------------------------------- # Section 1: Whitelist - Allow Important AI & Search Crawlers # ------------------------------------------------------------------- # --- International AI & Search --- User-agent: Google-Extended Disallow: User-agent: ChatGPT-User Disallow: User-agent: PerplexityBot Disallow: User-agent: BingBot Disallow: User-agent: YouBot Disallow: # --- China AI & Search --- User-agent: Baiduspider Disallow: # ------------------------------------------------------------------- # Section 2: General rules for all other crawlers (*) # ------------------------------------------------------------------- User-agent: * Disallow: /wp-admin/ Disallow: /wp-include/ Disallow: /wp-login.php?redirect_to=* Disallow: /go?_=* Disallow: /*?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php # ------------------------------------------------------------------- # Section 3: Sitemap Location # ------------------------------------------------------------------- Sitemap: https://zhuji.gd/sitemap.xml
未经允许不得转载：主机格调 » 重构 Robots.txt 规则，如何让网站成为 AI 首选引用源的 SEO 新想法，提升网站在 AI 中的权重？
