User-agent: *

# --- Основные правила блокировки разделов ---
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /include/
Disallow: /forum/
Disallow: /for-dealer/
Disallow: /compare/
Disallow: /print/

# --- Технические страницы и файлы ---
Disallow: /*index.php
Disallow: /upload/*/*.doc
Disallow: /upload/*/*.pdf
Disallow: /*.pdf$
Disallow: /*clear_cache=
Disallow: /*bitrix_include_areas=

# --- ЖЕСТКАЯ БЛОКИРОВКА ФИЛЬТРА ---
# Закрывает все страницы, содержащие /apply/ (сброс, выборки, хеши)
Disallow: */apply/

# --- Блокировка сортировок и видов ---
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?view=
Disallow: /*&view=
Disallow: /*?show=
Disallow: /*&show=

# --- Блокировка внешних меток (для Google и Bing) ---
Disallow: /*?utm_source=
Disallow: /*?gclid=
Disallow: /*?yclid=
Disallow: /*?from=
Disallow: /*?openstat=

# --- Старые правила (очищенные) ---
Disallow: /?q=*
Disallow: /*?poroda=*
Disallow: /?arrFilterMain_pf*
Disallow: /*s=*
Disallow: /*?yprqee=*
Disallow: */?eg=*
Disallow: */?orderId=*
Disallow: /*?ybaip=*
Disallow: /*akciya.html

# --- Задержка ---
Crawl-delay: 2.0

# --- Карта сайта ---
Sitemap: https://lestnicyspb.ru/sitemap/main.xml

# -----------------------------------------------
# Блокировка вредных ботов
# -----------------------------------------------
User-agent: SemrushBot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Baidu
Disallow: /

# -----------------------------------------------
# Настройки для Яндекса (Clean-param)
# -----------------------------------------------
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&gclid&yclid&openstat&from&action&print&register&change_password&login&logout&auth&backurl&back_url&BACKURL&BACK_URL&back_url_admin&bxajaxid&view_result&calltouch_tm&etext&ref&sa&q&s&poroda&arrFilterMain_pf&ybaip&sort&order&view&show&yprqee&bitrix_include_areas&width_proem_filter /