-
限制搜索引擎蜘蛛(robots.txt)参数实例详解
robots.txt放于网站根目录下面,用来控制百度(baidu)谷歌(Google)的搜索引擎蜘蛛不抓取你想要哪些内容不被抓取。限制搜索引擎蜘蛛(robots.txt)参数实例详解:Disallow 行列出的是您要
懒人建站 ⋅ 2011-03-17
懒人建站专注于网页素材下载,提供网站模板、网页设计、ps素材、图片素材等,服务于【个人站长】【网页设计师】和【web开发从业者】的代码素材与设计素材网站。
懒人建站提供网页素材下载、网站模板robots.txt放于网站根目录下面,用来控制百度(baidu)谷歌(Google)的搜索引擎蜘蛛不抓取你想要哪些内容不被抓取。限制搜索引擎蜘蛛(robots.txt)参数实例详解:Disallow 行列出的是您要
懒人建站 ⋅ 2011-03-17