# BotryRedam - Premium Herrenmode
# Robots.txt für SEO-Optimierung

User-agent: *
Allow: /

# Erlaubte Bereiche
Allow: /css/
Allow: /js/
Allow: /images/
Allow: /artikel/

# Sitemaps
Sitemap: https://botryredam.center/sitemap.xml

# Häufige Bot-spezifische Einstellungen
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: YandexBot
Allow: /
Crawl-delay: 2

User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

# Schutz vor aggressiven Crawlern
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

# Blockiere bekannte problematische Bots
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /

# Cache-Hinweise für wichtige Dateien
# (Diese werden normalerweise über HTTP-Header gesteuert)

# Host-Präferenz (optional, für Subdomain-Handling)
Host: botryredam.center