# 默认禁止所有爬虫访问
User-agent: *
Disallow: /

# 允许百度蜘蛛访问全站
User-agent: Baiduspider
Disallow:

# 允许神马搜索蜘蛛访问全站
User-agent: YisouSpider
Disallow:

# 允许谷歌爬虫访问全站
User-agent: Googlebot
Disallow:

# 屏蔽Bing爬虫
User-agent: Bingbot
Disallow: /

# 屏蔽搜狗爬虫
User-agent: Sogou web spider
Disallow: /

# 屏蔽360搜索爬虫
User-agent: 360Spider
Disallow: /

# 屏蔽Ahrefs爬虫（站点分析工具）
User-agent: AhrefsBot
Disallow: /

# 屏蔽Semrush爬虫
User-agent: SemrushBot
Disallow: /

# 屏蔽MJ12bot（SEO工具爬虫）
User-agent: MJ12bot
Disallow: /

# 屏蔽Yandex（俄罗斯搜索引擎）
User-agent: Yandex
Disallow: /