搜索引擎爬虫管理插件(RobotsMng)是一款可以帮助新手管理你的Robots.txt文件的插件,如果你还不知道什么是Robots.txt请百度一下先。写这个插件的初衷在于帮助不懂Robots.txt写作规范和语法的同学们,通过这个插件,你只需要点点鼠标就能规范的生成Robts.txt文件,帮助引擎收录你想要它收录的东西,过滤你不想它收录的东西。

此插件并不会造成系统变慢,也不存在可以利用的漏洞,请大家放心下载使用。下面是部分插件的使用说明:
1、我该如何管理此插件?
在你已经安装了此插件后,你可以通过后台左右的网站设置管理中的管理引擎爬虫进入管理页,你也可以通过插件管理中的Robots Manager后的管理进入管理页。
2、ZBLOG的哪些文件是应该拦截的?
不允许搜索引擎抓取的文件应该就是你不希望被收录的文件,在ZBLOG上,你可以拦截以下文件
/ADMIN/
/SCRIPT/
/DATA/
/FUNCTION/
/PLUGIN/
/login.asp
3、操作说明
全部允许:表示允许任何搜索引擎爬虫抓取你网站的任何内容;
全部拦截:表示不允许任何搜索引擎爬虫抓取你网站上的任何内容(慎用);
在Robots.txt中显示网站地图:这能更方便爬虫读取网站地址并抓取,所以此项是不允许更改的;
自定义抓取规则:定义此规则需要第一步中选择为全部允许。如果你想禁止所有引擎爬虫抓取你网站的IMAGES目录,你可以在操作中选择“拦截”,爬虫选择“所有引擎机器人”,在文件中输入“/IMAGES/”就可以了;如果你想禁止多个目录你可以用“||”分割,比如“/ADMIN/||/SCRIPT/||/FUNCTION/”这样会生成三条记录。
原创文章转载请注明引自石头博客 http://www.stou.info/ 欢迎订阅石头博客。
过来学习学习。
路过!插件不错用了!多谢
这个东西很不错,石头很细心呢。
自己手动写就好。不要加大博客的处理压力!
这是ZB插件?WP没有么?
很强大哦,PJ就没有这样的插件!
我是来点广告的~因为换了ip
知道规则,自己写写就好了。
冒似我来过这里
果然是搞网站的人!
我在博客里早已经设置了Robot.txt文件,但是没有限制那么多,呵呵……
今天很忙,所以没抢到沙发,诶,失败...
很方便,可以随时管理那些能被蜘蛛找到 ,那些不能。
这个插件很实用啊
需要这个插件
呵呵,还是用txt改一个别人的方便~
这个真不错!!!!
还真蛮方便的~~
我是过来点广告的
就是一个插件可以修改Robots.txt文本文件把?
支持一下~~
抢沙发抢沙发
好东西哦,我怎么没想到呢,明天还跟我说了呢。