主机格调WordPress 网站如何禁止搜索结果页被抓取？
这两天在 Google Search Consle 中看到其中一个 WordPress 网站的站内搜索被搜索了大量的垃圾信息，其中一些搜索结果页还被索引，这些垃圾信息一旦被索引，就有可能被收录。 不想搜索结果页面被收录的话，可以使用 robots.txt 和 Robots Meta 告诉搜索引擎不索引这些搜索结果页。一般 SEO 用的是 robots.tx...
赞 (0)阅读(403)
robots.txt
robots.txt与nofollow之间的区别
2很多刚刚学习SEO优化的小伙伴，robots.txt与nofollow这两个术语在某些情况下使用时很难很清楚。 一. 基本概念 1. 什么是robots.txt？ robots.txt是一个文档，存放在网站根目录。当搜索引擎蜘蛛抓取网站时，首先会检查网站上是否存在robots.txt。 如果存在，搜索引擎一般都会遵循网站上的robots.txt中的规则来抓取...
赞 (0)阅读(92)
