# Domyślnie: indeksacja dozwolona
User-agent: *
Disallow: /api/
Disallow: /go/
Disallow: /tester/
Allow: /

# --- AI: boty treningowe ---
# Decyzja 2026-10-02: trening dozwolony dla dużych dostawców (GPTBot, ClaudeBot, CCBot,
# Google-Extended, Applebot-Extended, meta-externalagent). Nie mają własnych grup, więc
# obowiązuje ich grupa `*` wyżej, razem z Disallow /api/ i /go/. Google-Extended steruje
# też cytowaniem stron w aplikacji Gemini, więc jego blokada kosztowała widoczność.
# Zablokowane zostają dwa boty bez znaczenia dla polskiego użytkownika
# (twardo egzekwowane regułą WAF; tu deklaracja doradcza dla grzecznych botów):
User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

# --- AI: boty search / cytujące: DOZWOLONE (GEO) ---
# Własna grupa NIE dziedziczy reguł z `*` (RFC 9309), więc crawlery wyszukiwarek dostają
# Disallow /api/ i /go/ jawnie: chodzą bez człowieka, a link i tak widzą w kodzie strony.
# Agenci działający na prośbę osoby (*-User) zostają z pełnym dostępem, także do /go/.
User-agent: OAI-SearchBot
Disallow: /api/
Disallow: /go/
Disallow: /tester/
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Disallow: /api/
Disallow: /go/
Disallow: /tester/
Allow: /

User-agent: Perplexity-User
Allow: /

# Anthropic rozdziela boty: ClaudeBot (grupa `*`) zbiera do treningu, Claude-User i
# Claude-SearchBot obsługują cytowanie w odpowiedziach. Wpisane JAWNIE, bo reguła WAF
# filtrująca po substringu „Claude" ubiłaby także te dwa i odcięła ścieżkę cytowania.
User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Disallow: /api/
Disallow: /go/
Disallow: /tester/
Allow: /

Sitemap: https://obrotomierz.pl/sitemap-index.xml