# robots.txt - 搜索引擎爬虫配置
# 放置位置: output/robots.txt (网站根目录)

# ==================== 全局规则 ====================

# 允许所有搜索引擎爬虫访问
User-agent: *

# 允许抓取所有页面
Allow: /

# 禁止抓取的目录（可选，根据需要取消注释）
# Disallow: /admin/
# Disallow: /private/
# Disallow: /temp/

# 禁止抓取的特定文件类型（可选）
# Disallow: /*.pdf$
# Disallow: /*.zip$

# ==================== Sitemap 位置 ====================
# 重要：请将 https://yourdomain.com 替换为您的实际域名
Sitemap: https://yourdomain.com/sitemap.xml

# ==================== 针对特定搜索引擎的规则（可选） ====================

# Google 爬虫
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# Bing 爬虫
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# Baidu 爬虫
User-agent: Baiduspider
Allow: /
Crawl-delay: 2

# ==================== 说明 ====================
# 
# User-agent: *          - 适用于所有爬虫
# Allow: /               - 允许抓取根目录及所有子目录
# Disallow: /path/       - 禁止抓取指定路径
# Crawl-delay: N         - 请求间隔 N 秒（避免服务器过载）
# Sitemap: URL           - 指定 Sitemap 文件位置
#
# 更多详情请参考:
# https://developers.google.com/search/docs/crawling-indexing/robots/intro
# https://www.robotstxt.org/robotstxt.html