怎么让网站页面内容不被抓取？

 怎么让网站页面内容不被抓取？
　　也许有的朋友会奇怪，网站的页面不是让查找引擎抓的越多越好吗，怎样还会有怎样让网站页面内容不被抓取的主意。 ...
　　也许有的朋友会奇怪，网站的页面不是让查找引擎抓的越多越好吗，怎样还会有怎样让网站页面内容不被抓取的主意。

　　首要，一个网站能够分出去的权重是有限，哪怕是Pr10的站，也不也许无限的分权重出去。这权重包含链到别人网站的处链以及自个网站内的内链。

　　外链的话，除非是想坑被链的人。否则外链都是需求让查找引擎所抓取。这不在这篇文章评论规模之内。

　　而内链，由于有些网站有不少重复或冗余的内容。比方一些按条件查询的查找成果。特别是一些B2C站，在专门查询页或在一切商品页面的某个方位内，都能够按商品类型，型号，色彩，巨细等进行分类查找。这些页面尽管对阅读者来说是极大的便利，但对查找引擎来说，这但是消耗蜘蛛极大的抓取时刻，特别是网站页面较多时。一起也会分散页面权重,对SEO晦气。

　　别的网站办理登陆页面，备份页面，测验页面等等，也是站长不想让查找引擎所录入的。

　　所以就有需求让页面的某些内容，或某些页面不被查找引擎所录入。

　　下面笔者先介绍一下较为有用的几种办法：

　　1.在FLASH展现不想被录入的内容

　　众所周知，查找引擎对FLASH的内容抓取才能有限，不能彻底抓取一切FLASH内的一切内容。但遗憾的是，也不能彻底保证FLASH的一切内容都不会被抓取。由于google和Adobe正努力的完成FLASH抓取技能。

　　2.运用robos文件

　　这是暂时最有用的办法，但有个很大的缺陷。就是不传出任何的内容及连接。我们晓得，在SEO来说对比健康的页面应该是有进有出的。有外链的链入，一起也页面内也需求有链到外部网站的连接，所以robots文件操控，让此页面只进不出，查找引擎也不晓得内容是什么。会把此页定为低质量页面。权重有也许受必定的赏罚。这个多用于网站办理页面，测验页面等。

　　3.运用nofollow标签包裹不想被录入的内容

　　这个办法也不能彻底保证不被录入，由于这并不是严格要求恪守的标签。别的，如果有外部网站链向了有nofollow标签的页面。这样就很有也许会被查找引擎抓取。

　　4.用Meta Noindex标签加上follow标签

　　这个办法能够做到避免录入并且还能传递出权重。要不要传递，看网站建造站长自个的需求。这个办法的缺陷是，也是会较大的糟蹋蜘蛛的抓取页面时刻。

　　5.用robots文件的一起在页面上运用iframe标签展现需求查找引擎录入的内容