新闻中心
Success Stories
头条新闻
推荐内容
通过robots设置搜索引擎的抓取速度_织梦CMS
时间:2013-03-06 22:12来源: 作者:admin 点击:
次
User-agent:Baiduspider Visit-time:0855-1700 说明:指定每天允许百度蜘蛛采集的时间段，格式为mmss-mmss，例如0855-1700 User-agent:Baiduspider Request-rate:1/5 0900-1045 说明：限制百度蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页，例如1/5
User-agent:Baiduspider
Visit-time:0855-1700
说明:指定每天允许百度蜘蛛采集的时间段，格式为mmss-mmss，例如0855-1700
User-agent:Baiduspider
Request-rate:1/5 0900-1045
说明：限制百度蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页，例如1/5 0900-1045。
User-agent:Baiduspider
Crawl-delay:3600
说明:限制百度蜘蛛两次抓取的间隔时间，单位为秒。建议在蜘蛛的抓取频率过高时，可以制定蜘蛛抓取时间间隔，来降低服务器的负担,减少流量的不必要流失。
Visit-time:0855-1700
说明:指定每天允许百度蜘蛛采集的时间段，格式为mmss-mmss，例如0855-1700
User-agent:Baiduspider
Request-rate:1/5 0900-1045
说明：限制百度蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页，例如1/5 0900-1045。
User-agent:Baiduspider
Crawl-delay:3600
说明:限制百度蜘蛛两次抓取的间隔时间，单位为秒。建议在蜘蛛的抓取频率过高时，可以制定蜘蛛抓取时间间隔，来降低服务器的负担,减少流量的不必要流失。
顶一下
()
%
踩一下
()
%
------分隔线----------------------------
- 发表评论
-
- 最新评论 进入详细评论页>>
