# computer-harburg.de, robots.txt
# Suchmaschinen und KI-Suche (z. B. Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot,
# PerplexityBot, Applebot) dürfen alles lesen.
# KI-Training ist gesperrt (Arif 07.10.2026, Nutzungsvorbehalt nach § 44b Abs. 3 UrhG).
# Namen und Zweck je Crawler laut Herstellerseite, geprüft am 07.10.2026.

User-agent: *
Allow: /

# OpenAI, Training (developers.openai.com/api/docs/bots)
User-agent: GPTBot
Disallow: /

# Anthropic, Training (support.claude.com, Artikel 8896518)
User-agent: ClaudeBot
Disallow: /

# Google, Gemini-Training; Google-Suche bleibt unberührt
User-agent: Google-Extended
Disallow: /

# Common Crawl, Datensatz für KI-Training (commoncrawl.org/ccbot)
User-agent: CCBot
Disallow: /

# Apple, Training; Apple-Suche (Applebot) bleibt unberührt
User-agent: Applebot-Extended
Disallow: /

# Meta, Training (developers.facebook.com, web-crawlers)
User-agent: meta-externalagent
Disallow: /

Sitemap: https://computer-harburg.de/sitemap-index.xml