阿里妈妈站长社区 » 站长帮帮 » robots.txt的解释
本页主题: robots.txt的解释 打印 | 加为IE收藏 | 复制链接 | 收藏主题 | 上一主题 | 下一主题

红十月
我只是一根草
级别: 荣誉版主

有事点这里
精华: 8
发帖: 2387
包子: 9 个
馒头: 2547 个
注册时间:2007-11-19
最后登录:2009-06-23

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 robots.txt的解释

怎么写robots.txt文件？
robots.txt是个很简单的文本文件，您只要标明“谁不能访问哪些链接”即可。
在文件的第一行写：
User-Agent: YodaoBot
这就告诉了爬虫下面的描述是针对名叫YodaoBot的爬虫。您还可以写：
User-Agent: *
这就意味着向所有的爬虫开放。需要注意的是一个robots.txt文件里只能有一个"User-Agent: *"。
接下来是不希望被访问的链接前缀。例如：
Disallow: /private
这就告诉爬虫不要抓取以"/private"开头的所有链接。包括/private.html，/private/some.html，/private/some/haha.html。如果您写成：
Disallow: /
则表明整个站点都不希望被访问。您也可以分多行来指定不希望被抓取的链接前缀，例如：
Disallow: /tmp
Disallow: /disallow
那么所有以"/tmp"和"/disallow"开头的链接都不会被访问了。

最后形成的robots.txt文件如下：
User-Agent: YodaoBot
Disallow: /tmp
Disallow: /private

请注意，如果您的robots.txt文件里有中文等非英语字符，请确定该文件是由UTF-8编码编写。
本帖最近评分记录：
馒头:+4(libby) 谢谢分享
顶端 Posted: 2007-12-16 12:18 | [楼 主]
kingnetweb
blooge.cn (QQ:35964277)
级别: 小学四年级


精华: 1
发帖: 3185
包子: 0 个
馒头: 362 个
注册时间:2007-09-29
最后登录:2009-07-03

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

学习................
blooge.cn
购物街
小游戏
顶端 Posted: 2007-12-16 23:48 | 1 楼
天地互联
级别: 小学六年级

有事点这里
精华: 2
发帖: 798
包子: 1 个
馒头: 1162 个
注册时间:2007-08-26
最后登录:2009-05-28

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

好萜
跟阿里集团合作的网站，快来赚Q币，赚游戏点卡了，赚外快了
顶端 Posted: 2007-12-17 10:27 | 2 楼
7X8数据中心
做外汇找我就对拉，目前开户入金就送50刀，这里好象还写很长的哦，试下看究竟可以写多长，啊呀呀好象还可 ..
级别: 大学三年级

有事点这里
精华: 0
发帖: 2791
包子: 0 个
馒头: 46658 个
注册时间:2007-08-23
最后登录:2009-03-15

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

该写的语句是


网站重地，蜘蛛止步。

它就不会来了
比GGAD更好用更好赚....
同样是美圆点击广告,但只需要1美金就可以支付,让我们找到了放弃GGAD 的理由
顶端 Posted: 2007-12-17 10:46 | 3 楼
serron
级别: 小学五年级


精华: 2
发帖: 1469
包子: 1 个
馒头: 483 个
注册时间:2007-10-04
最后登录:2009-04-19

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

不错，支持一下
呵呵
世界名表论坛
世界钟表网
世界军刀网
顶端 Posted: 2007-12-17 11:00 | 4 楼
一步OK
级别: 小学四年级


精华: 0
发帖: 316
包子: 0 个
馒头: 281 个
注册时间:2007-08-25
最后登录:2009-04-06

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

学习
电脑故障处理一步OK
顶端 Posted: 2007-12-17 15:54 | 5 楼
harryju
级别: 小学一年级


精华: 0
发帖: 34
包子: 0 个
馒头: 108 个
注册时间:2007-12-07
最后登录:2008-11-13

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

Robots.txt 文件书写错误的检查工具

http://www.pageseo.com/seo-tools/Robots-Spider.php
搜索引擎优化
顶端 Posted: 2007-12-19 13:12 | 6 楼
红十月
我只是一根草
级别: 荣誉版主

有事点这里
精华: 8
发帖: 2387
包子: 9 个
馒头: 2547 个
注册时间:2007-11-19
最后登录:2009-06-23

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

嘿嘿 美女大MM
顶端 Posted: 2007-12-19 18:30 | 7 楼
爱情人论坛
级别: 小学四年级

有事点这里
精华: 0
发帖: 399
包子: 0 个
馒头: 349 个
注册时间:2007-12-14
最后登录:2008-08-16

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

好象是GOOGLE帐户里的吧,我的GOOGLE帐户里就有robots.txt文件

爱情人-爱情论坛!
顶端 Posted: 2007-12-19 19:04 | 8 楼
蓝天天
级别: 小学五年级


精华: 0
发帖: 808
包子: 0 个
馒头: 802 个
注册时间:2007-10-04
最后登录:2009-05-21

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

学习中!谢谢了
来自:yb4321.cn      5339252.cn
顶端 Posted: 2007-12-19 19:10 | 9 楼
wangqian511
级别: 小学二年级


精华: 0
发帖: 57
包子: 0 个
馒头: 126 个
注册时间:2007-11-26
最后登录:2009-01-22

查看该会员的广告店铺
小 中 大 引用 推荐 编辑 只看该作者

 

也研究过一段时间，很是不错！！！
U26小游戏
顶端 Posted: 2007-12-20 13:57 | 10 楼
帖子浏览记录 版块浏览记录
阿里妈妈站长社区 » 站长帮帮