# ============================================================
# robots.txt – Automyjnia Michalik Tarnów
# https://www.myjnia-tarnow.pl/
#
# Konfiguracja: pełne otwarcie dla wyszukiwarek i botów AI
# Autor SEO: Paweł Leśniak | checkSITE | pawel@checksite.pl
# ============================================================

# ── GOOGLE ──────────────────────────────────────────────────
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /img/

User-agent: Googlebot-Video
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: AdsBot-Google-Mobile
Allow: /

User-agent: Google-InspectionTool
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Storebot-Google
Allow: /

# ── BING / MICROSOFT ────────────────────────────────────────
User-agent: Bingbot
Allow: /

User-agent: adidxbot
Allow: /

User-agent: MSNBot
Allow: /

User-agent: MSNBot-Media
Allow: /img/

User-agent: BingPreview
Allow: /

# ── YAHOO ───────────────────────────────────────────────────
User-agent: Slurp
Allow: /

# ── YANDEX ──────────────────────────────────────────────────
User-agent: YandexBot
Allow: /

User-agent: YandexImages
Allow: /img/

User-agent: YandexVideo
Allow: /

User-agent: YandexMedia
Allow: /

User-agent: YandexMetrika
Allow: /

# ── APPLE ───────────────────────────────────────────────────
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# ── DUCKDUCKGO ──────────────────────────────────────────────
User-agent: DuckDuckBot
Allow: /

# ── ECOSIA ──────────────────────────────────────────────────
User-agent: Ecosiabot
Allow: /

# ── FACEBOOK / META ─────────────────────────────────────────
User-agent: facebookexternalhit
Allow: /

User-agent: Facebot
Allow: /

User-agent: meta-externalagent
Allow: /

# ── TWITTER / X ─────────────────────────────────────────────
User-agent: Twitterbot
Allow: /

# ── LINKEDIN ────────────────────────────────────────────────
User-agent: LinkedInBot
Allow: /

# ── PINTEREST ───────────────────────────────────────────────
User-agent: Pinterest
Allow: /

User-agent: Pinterestbot
Allow: /

# ── AI – OPENAI / CHATGPT ───────────────────────────────────
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# ── AI – ANTHROPIC / CLAUDE ─────────────────────────────────
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# ── AI – GOOGLE (GEMINI / BARD) ─────────────────────────────
User-agent: Google-Extended
Allow: /

User-agent: Gemini
Allow: /

# ── AI – META (LLAMA) ───────────────────────────────────────
User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

# ── AI – PERPLEXITY ─────────────────────────────────────────
User-agent: PerplexityBot
Allow: /

# ── AI – COHERE ─────────────────────────────────────────────
User-agent: cohere-ai
Allow: /

# ── AI – YOU.COM ────────────────────────────────────────────
User-agent: YouBot
Allow: /

# ── AI – COMMON CRAWL ───────────────────────────────────────
User-agent: CCBot
Allow: /

# ── AI – DIFFBOT ────────────────────────────────────────────
User-agent: Diffbot
Allow: /

# ── AI – BYTEDANCE ──────────────────────────────────────────
User-agent: Bytespider
Allow: /

# ── AI – AMAZON ─────────────────────────────────────────────
User-agent: Amazonbot
Allow: /

# ── SEO TOOLS ───────────────────────────────────────────────
User-agent: AhrefsBot
Allow: /

User-agent: SemrushBot
Allow: /

User-agent: MJ12bot
Allow: /

User-agent: DotBot
Allow: /

User-agent: rogerbot
Allow: /

# ── ARCHIWUM / WAYBACK MACHINE ──────────────────────────────
User-agent: ia_archiver
Allow: /

# ── POZOSTAŁE BOTY – DOMYŚLNA ZASADA ───────────────────────
User-agent: *
Allow: /

# ── BLOKOWANIE ZASOBÓW NIEPOTRZEBNYCH DLA BOTÓW ────────────
# (opcjonalne – odkomentuj jeśli chcesz zablokować)
# Disallow: /wp-admin/
# Disallow: /wp-includes/
# Disallow: /wp-login.php

# ── SITEMAP ─────────────────────────────────────────────────
Sitemap: https://www.myjnia-tarnow.pl/sitemap.xml

# ── HOST (preferencja Yandex) ───────────────────────────────
Host: https://www.myjnia-tarnow.pl