User-agent: *

# --- Служебные разделы и системные каталоги ---
Disallow: /admin/
Disallow: /auth/
Disallow: /authorization/
Disallow: /basket/
Disallow: /bitrix/
Disallow: /local/
Disallow: /vendor/
Disallow: /api/
Disallow: /1c-services/
Disallow: /desktop_app/
Disallow: /ViewerJS/
Disallow: /mail_attachments/
Disallow: /personal/
Disallow: /order/
Disallow: /form/
Disallow: /search/
Disallow: /store/
Disallow: /buyers/
Disallow: /autodiscover/
Disallow: /upload/tmp/
Disallow: /.cache/
Disallow: /.config/
Disallow: /.pki/

# --- Дубли каталога и страницы без самостоятельной ценности ---
Disallow: /catalog2/
Disallow: /products/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /error/
Disallow: /about/_news/
Disallow: /price-lists/custom/
Disallow: /*.php

# --- Ресурсы, без которых робот не отрендерит страницу ---
# Перекрывают Disallow выше по правилу самого длинного совпадения.
Allow: /bitrix/js/
Allow: /bitrix/cache/
Allow: /bitrix/panel/
Allow: /bitrix/templates/
Allow: /local/templates/
Allow: /local/components/
Allow: /local/dist/
Allow: /local/js/
Allow: /local/libs/

# --- Сортировка, фильтры, пагинация ---
Disallow: /*?PAGEN_
Disallow: /*&PAGEN_
Disallow: /*PAGEN*PAGEN
Disallow: /*set_filter=
Disallow: /*SMART_FILTER_PATH=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*ORDER_BY
Disallow: /*view=
Disallow: /*view_result=
Disallow: /*select_edition

# --- Технические параметры Битрикса ---
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*action_basket=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*apply
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?from=
Disallow: /*&from=
Disallow: /*?num=
Disallow: /*&num=
Disallow: /*?dir
Disallow: /*?event
Disallow: /*?newsid
Disallow: /*?a=
Disallow: /*?q
Disallow: /*sphrase_id=
Disallow: /*page=support
Disallow: /*lang=ru
Disallow: /*year=
Disallow: /*=&goto

# --- Идентификаторы: дубли SEF-адресов ---
Disallow: /*ID=
Disallow: /*?id=
Disallow: /*ELEMENT_CODE
Disallow: /*section_id=
Disallow: /*section=

# --- Авторизация и личный кабинет ---
Disallow: /*auth=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*back_url=
Disallow: /*BACK_URL=
Disallow: /*backurl=
Disallow: /*BACKURL=
Disallow: /*back_url_admin=

# --- Метки рекламных кампаний ---
Disallow: /*utm_
Disallow: /*?ysclid=
Disallow: /*?yclid=
Disallow: /*?ymclid
Disallow: /*?yadclid
Disallow: /*?gclid
Disallow: /*?gadclid
Disallow: /*?fbclid
Disallow: /*?_openstat
Disallow: /*?roistat

# --- Склейка незначащих GET-параметров (Яндекс) ---
# Робот отбрасывает параметр и объединяет сигналы на адресе без него.
# Работает раньше Disallow: параметр снимается до обхода, поэтому правила
# выше (нужные для Google, он Clean-param не понимает) склейке не мешают.
# Сюда нельзя добавлять параметры, меняющие содержимое: PAGEN_*, q, set_filter, arrFilter_*.

# Метки рекламных кампаний
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&utm_referrer&utm_id
Clean-param: yclid&ysclid&ymclid&yadclid&gclid&gadclid&fbclid&_openstat&openstat&roistat&roistat_referrer&roistat_pos&etext&rb_clickid

# Источник перехода внутри сайта: /catalog/?from=mainpage и т. п.
Clean-param: from&frommarket&ref&referrer&r1&r2

# Сортировка и режим показа списков
Clean-param: sort&order&by&how&view&view_result&display&select_edition&show_all&ORDER_BY

# Технические параметры Битрикса
Clean-param: bxajaxid&AJAX_CALL&ajax&clear_cache&clear_cache_session&bitrix_include_areas&print&print_course&num&action&action_basket&sphrase_id&filter_history

# Авторизация, регистрация и возвратные адреса
Clean-param: back_url&BACK_URL&backurl&BACKURL&back_url_admin&login&logout&register&forgot_password&change_password&auth&checkword&user_id&confirm_registration&confirm_code&confirm_user_id&USER_LOGIN&USER_CHECKWORD

Sitemap: https://www.termoros.com/sitemap.xml

# --- Агрессивные SEO/AI-краулеры: полный запрет (2026-08-14) ---
# Пользы не приводят, вместе давали ~10 тыс. запросов в сутки.
# Bytespider и Baiduspider частично игнорируют robots.txt, поэтому они же
# режутся по User-Agent на nginx (bx/conf/zz-botfilter-server.conf на сервере).

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Baiduspider
Disallow: /