# =====================================================================================
# ENDOSCOPE.BG — Ендоскоп камери • Микроскопи • Иновации
# Optimized robots.txt — rev. 2026-09-06 (v1, по модела на smartdeal.bg v9) by SMARTDEAL (предишна ревизия 2026-08-25)
# =====================================================================================
#                             E N D O S C O P E   .   B G

# =========================
# ✅ Sitemap Definitions
# =========================
Sitemap: https://endoscope.bg/sitemap_index.xml
Sitemap: https://endoscope.bg/post-sitemap.xml
Sitemap: https://endoscope.bg/page-sitemap.xml
Sitemap: https://endoscope.bg/product-sitemap.xml
Sitemap: https://endoscope.bg/category-sitemap.xml
Sitemap: https://endoscope.bg/local-sitemap.xml

# =========================
# ✅ General Rules
# =========================
User-agent: *
# --- Content-Signal (contentsignals.org, Cloudflare): нова ДОБРОВОЛНА директива, не е част от
# --- RFC 9309. Непознатите директиви се игнорират. Значение: индексирай (search), ползвай за
# --- отговори (ai-input), НЕ обучавай модели (ai-train). Четвъртото поле use=reference е
# --- ЕКСПЕРИМЕНТАЛНО разширение (Cloudflare Content-Usage): индексиране, кратък откъс и линк
# --- към източника. Днес го чете само Cloudflare; Google, Bing и OpenAI го игнорират.
Content-signal: search=yes, ai-input=yes, ai-train=no, use=reference

# --- admin-ajax.php е единственото, което трябва да се разреши изрично под /wp-admin/.
Allow: /wp-admin/admin-ajax.php
# --- 09.2026: /wp-content/themes/, /wp-content/plugins/, /wp-includes/ и /wp-content/uploads/
# --- НЕ се блокират. Google зарежда оттам CSS, JS, шрифтове (woff2) и изображения, за да
# --- рендира страницата. Затова няма нужда от Allow редове за тях: нищо не ги забранява.
# --- Блокирането на тези папки не криеше нищо (имената на плъгините се виждат в HTML).

Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/plugins/*/readme.txt
Disallow: /wp-content/plugins/*/readme.html
Disallow: /.noindex.html
Disallow: /*attachment_id=

# WooCommerce optimization — служебни страници.
# v7: /cart/, /checkout/, /my-account/, /wishlist/ и /compare/ НЕ са с Disallow. Те са с
# noindex (checkout при празна количка пренасочва към cart). Ако са блокирани в robots.txt,
# Google не може да прочете noindex и може да ги задържи в индекса без съдържание.
# Капанът на количката се спира от параметърните правила по-долу, не от Disallow на страницата.
# Блокират се само чувствителните подпътища с данни за поръчки (реалните WooCommerce endpoint-и):
Disallow: /checkout/order-pay/
Disallow: /checkout/order-received/
Disallow: /my-account/view-order/

# WooCommerce optimization — параметри на количката.
# 09.2026 (smartdeal.bg): meta-webindexer попадна в капан /cart/?remove_item=…&_wpnonce=…&add-to-cart=…
# с ~29 млн. комбинации. Превантивно и тук. Правилата покриват параметъра на ВСЯКА позиция.
Disallow: /*add-to-cart=
Disallow: /*add_to_cart=
Disallow: /*added-to-cart=
Disallow: /*remove_item=
Disallow: /*removed_item=
Disallow: /*undo_item=
Disallow: /*wc-ajax=
Disallow: /*add_to_wishlist=

# WooCommerce optimization — филтри, сортиране, пагинация с параметри
Disallow: /*orderby=
Disallow: /*?order=
Disallow: /*?filter
Disallow: /*?filter_
Disallow: /*&filter_
Disallow: /*filtering=
Disallow: /*min_price=
Disallow: /*max_price=
Disallow: /*price_range=
Disallow: /*?pa_
Disallow: /*&pa_
Disallow: /*product_cat=
Disallow: /*product_tag=
Disallow: /product-category/*?*
Disallow: /product-tag/*?*
Disallow: /shop/*?*
Disallow: /*count=

# UTM / click-id cleanup — prevent crawl of campaign tracking URLs.
# Шаблоните без "?" и "&" хващат параметъра на всяка позиция и работят във всеки парсър.
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*utm_term=
Disallow: /*utm_content=
Disallow: /*gclid=
Disallow: /*fbclid=

# Crawl trap protection.
# Feed: основният /feed/ (публикациите) е разрешен, защото Google го приема за по-бързо откриване
# на променено съдържание. Вложените feed адреси (категории, тагове, продукти, коментари) са
# дублирано съдържание и остават забранени.
Disallow: /search/
Disallow: /*?s=
Disallow: /*&s=
Disallow: /*?p=
Disallow: /*&p=
Disallow: /*paged=
Disallow: /*preview=
Disallow: /*replytocom=
Disallow: /*?author=
Disallow: /*&author=
Disallow: /author/
Disallow: /*/author/
Disallow: /*/feed/
Disallow: /*/feed$
Disallow: /comments/feed/
Disallow: /*/trackback/

# =========================
# 📊 Crawl Rate Management
# =========================
# v9: Crawl-delay е премахнат. Google и Yandex го игнорират, Bing го спазва, но скоростта
# на Bing се управлява в Bing Webmaster Tools. Реалният контрол върху агресивни ботове е
# Cloudflare (rate limiting и custom rules), не robots.txt.

# =========================
# ✅ Search Engines — Allowed
# =========================
# Googlebot, Googlebot-Image, bingbot, DuckDuckBot, Yandex, Applebot и всички неназовани
# търсачки минават под "User-agent: *" и спазват правилата по-горе. НЕ им се пишат
# отделни групи с "Allow: /".

# =========================
# ✅ AI Search & Answer Engines — Allowed
# =========================
# Използват се за търсене, отговори или заявки от потребители. Остават под "*".
# Отделните training token-и са блокирани по-долу, когато операторът ги предоставя:
# OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot,
# Perplexity-User, MistralAI-User, YouBot, Applebot. Виж и /llms.txt.

# =========================
# ✅ Social Media Bots — Allowed
# =========================
# facebookexternalhit, Facebot, Twitterbot, LinkedInBot, Pinterest, WhatsApp — правят
# preview картичките при споделяне. Не се блокират. Остават под "*".

# =========================
# 🤖 AI Crawlers — селективно
# =========================
# Тренировъчни ботове без възвръщаемост за БГ пазар — блокирани.
# Индексирането за търсене и живите заявки (виж горе) остават разрешени.

# OpenAI: блокира се САМО тренировъчният бот. OAI-SearchBot и ChatGPT-User са разрешени.
User-agent: GPTBot
Disallow: /

# Anthropic: блокира се САМО тренировъчният бот. Claude-SearchBot и Claude-User са разрешени.
# Старите токени Claude-Web и anthropic-ai не са в актуалната документация на Anthropic.
User-agent: ClaudeBot
Disallow: /

# Google: Google-Extended управлява едновременно обучението на Gemini И grounding-а на Gemini
# с данни от сайта, без отделен избор. 06.09.2026: РАЗРЕШЕН (не е в списъка), защото Gemini
# носи реални клиенти и присъствието в отговорите му е по-важно от отказа от обучение.
# Googlebot, Google Search и AI Overviews не се засягат. Google-CloudVertexBot също не е в
# списъка: обхожда само по заявка на собственика (Vertex AI).

# Meta: блокирани са само AI training/indexing crawler-ите.
# Реклами (meta-externalads), каталози, Facebook/Instagram link previews (facebookexternalhit)
# и Meta-ExternalFetcher (тегли линк по заявка на жив потребител в Meta AI) остават разрешени.
# meta-webindexer доказано игнорира robots.txt — реалната защита е Cloudflare правилото.
User-agent: meta-externalagent
Disallow: /
User-agent: meta-webindexer
Disallow: /
User-agent: FacebookBot
Disallow: /

# Amazon: няма amazon.bg, Alexa не поддържа български, Amazon не линква навън
User-agent: Amazonbot
Disallow: /

# Apple: блокира се само AI opt-out токенът. Applebot (Siri, Spotlight) остава разрешен.
User-agent: Applebot-Extended
Disallow: /

# Други обучаващи и датасет ботове.
# AI2Bot, img2dataset и MJ12bot съдържат цифри, което формално нарушава RFC 9309 (product token =
# букви, "_" и "-"). Оставени са нарочно: това са реалните имена, с които ботовете се представят.
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: AI2Bot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: img2dataset
Disallow: /
User-agent: omgili
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: Timpibot
Disallow: /
User-agent: Grokbot
Disallow: /
User-agent: PanguBot
Disallow: /
User-agent: PetalBot
Disallow: /

# =========================
# ❌ Chinese Bots — Blocked
# =========================
User-agent: Baiduspider
Disallow: /
User-agent: Sogou
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: YoudaoBot
Disallow: /

# =========================
# ❌ Product Scrapers — Blocked (видени в access лога на smartdeal.bg, 09.2026)
# =========================
# GeedoShopProductFinder: обхожда продуктите и цените (видян на smartdeal.bg). Превантивно и тук.
User-agent: GeedoShopProductFinder
Disallow: /
User-agent: SERankingBacklinksBot
Disallow: /
User-agent: ImageBot
Disallow: /

# =========================
# ❌ SEO Tools — Blocked
# =========================
# Хранят конкурентите с данни за сайта, не носят трафик. Screaming Frog, Sitebulb и другите
# одит инструменти НЕ са тук, за да не пречат на собствените ни проверки.
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: DataForSeoBot
Disallow: /
User-agent: serpstatbot
Disallow: /

# =========================
# ❌ Archive Services — Blocked
# =========================
# Archive.org официално не спазва robots.txt от 2017. Спира по-малките архивни услуги.
User-agent: ia_archiver
Disallow: /
User-agent: Wayback
Disallow: /
User-agent: ArchiveBot
Disallow: /
User-agent: ArchiveTeam
Disallow: /
User-agent: webrecorder
Disallow: /

# =========================
# ❌ Bad Bots / Scrapers — Blocked
# =========================
# RSS четци (Feedly, Feedbin) и регионални търсачки (Seznam) не се блокират поименно.
# Feed адресите така или иначе са забранени за всички в групата "*".
User-agent: python-requests
Disallow: /
User-agent: wget
Disallow: /
User-agent: curl
Disallow: /
User-agent: Go-http-client
Disallow: /
User-agent: Scrapy
Disallow: /
User-agent: GiftGhostBot
Disallow: /
User-agent: PaperLiBot
Disallow: /
User-agent: Genieo
Disallow: /
User-agent: DomainStatsBot
Disallow: /
User-agent: DataproviderSiteExplorer
Disallow: /
User-agent: eCommerceBot
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: TurnitinBot
Disallow: /

# =========================
# 💡 SEO Keywords (for branding/context, ignored by crawlers)
# =========================
# Keywords: inskam, anesok, sunuo, ендоскоп, ендоскопи, ендоскоп камера, ендоскопска камера, ендоскоп за телефон,
# USB ендоскоп, WiFi ендоскоп, Type-C ендоскоп, ендоскоп за Android, ендоскоп за iPhone, ендоскоп за PC,
# индустриален ендоскоп, ендоскоп с дисплей, бороскоп, инспекционна камера, камера с двойна леща,
# дигитален микроскоп, USB микроскоп, WiFi микроскоп, микроскоп 1000x, отоскоп, камера за уши,
# мини камера, смарт камера, IP камера, Sonoff камера, eWeLink камера, Tuya камера, IP67, 5.5mm, 8mm,
# твърд кабел, мек кабел, 1080p, 1440p, ремонт, автосервиз, ВиК, инспекция, иновативни инструменти
# ===========================================================================
#
#      _______   ______  ____  _____ __________  ____  ______   ____  ______
#     / ____/ | / / __ \/ __ \/ ___// ____/ __ \/ __ \/ ____/  / __ )/ ____/
#    / __/ /  |/ / / / / / / /\__ \/ /   / / / / /_/ / __/    / __  / / __
#   / /___/ /|  / /_/ / /_/ /___/ / /___/ /_/ / ____/ /___ _ / /_/ / /_/ /
#  /_____/_/ |_/_____/\____//____/\____/\____/_/   /_____/(_)_____/\____/
#
#                .-~~~-.
#        _.--~~~/  .-.  \~~~--._       Endoscope cameras  *  Microscopes  *  Smart cameras
#     .-~      |  (   )  |      ~-.    https://endoscope.bg  |  part of Smartdeal.bg family
#    (   ~-.__  \  `-'  /  __.-~   )
#     `-._    ~~-.`---'.-~~    _.-'    Crawl politely. Humans shop here.
#         ~~--..__ | | __..--~~        Bots welcome. Scrapers, not so much.
#                (_|_|_)
#                 `-.-'                robots.txt by SMARTDEAL  -  rev. 2026-09
#
# ===========================================================================