在线robots.txt 生成器
默认 - 所有机器人是:
允许
拒绝
检索间隔:
不限
5 Seconds
10 Seconds
20 Seconds
60 seconds
120 Seconds
Sitemap: (留空为无)
普通搜索机器人:
Google
默认
允许
拒绝
googlebot
Baidu
默认
允许
拒绝
baiduspider
MSN Search
默认
允许
拒绝
msnbot
Yahoo
默认
允许
拒绝
yahoo-slurp
Ask/Teoma
默认
允许
拒绝
teoma
Cuil
默认
允许
拒绝
twiceler
GigaBlast
默认
允许
拒绝
gigabot
Scrub The Web
默认
允许
拒绝
scrubby
DMOZ Checker
默认
允许
拒绝
robozilla
Nutch
默认
允许
拒绝
nutch
Alexa/Wayback
默认
允许
拒绝
ia_archiver
Naver
默认
允许
拒绝
naverbot, yeti
特殊搜索机器人:
Google Image
默认
允许
拒绝
googlebot-image
Google Mobile
默认
允许
拒绝
googlebot-mobile
Yahoo MM
默认
允许
拒绝
yahoo-mmcrawler
MSN PicSearch
默认
允许
拒绝
psbot
SingingFish
默认
允许
拒绝
asterias
Yahoo Blogs
默认
允许
拒绝
yahoo-blogs/v3.9
限制目录:
路径是相对的，但每个路径之前都要包含："/"