# https://www.occtcn.cn/robots.txt
# OCCT 稳定性测试平台 - 爬虫指令

User-agent: *
Allow: /

Sitemap: https://www.occtcn.cn/sitemap.xml

# 禁止搜索引擎索引资源目录
Disallow: /assets/

# 禁止索引脚本目录
Disallow: /scripts/

# 爬取延迟 (秒)
Crawl-delay: 3

# 百度爬虫
User-agent: Baiduspider
Allow: /
Crawl-delay: 2

# 必应爬虫
User-agent: bingbot
Allow: /

# Google 爬虫
User-agent: Googlebot
Allow: /