User-Agent: *

# Разрешения для статики
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.svg
Allow: /local/*.webp

# Разрешения обходить ?PAGEN_-адреса (поверх Disallow: *?* ниже).
# Пагинации больше нет (с 05.08.2026 все товары категории на одной странице,
# любой ?PAGEN_1 отдает 301) — но роботы должны МОЧЬ обойти накопленные адреса,
# чтобы увидеть 301: закрытый в robots URL остается в индексе как есть.
Allow: /*?PAGEN_
Allow: /*&PAGEN_

Sitemap: https://picktech.ru/sitemap.xml

# Bitrix служебное
Disallow: /bitrix/
Disallow: /local/
Disallow: /admin/
Disallow: /wizards/
Disallow: /marketplace/
Disallow: /home/
Disallow: *bitrix_*=
Disallow: /*index.php$
Disallow: */rss

# API / AJAX / технические endpoints
Disallow: /ajax/
Disallow: /api/
Disallow: /mytracker/
Disallow: /go/
Disallow: /tmp/
Disallow: /build/
Disallow: /docs/
Disallow: /verstka/

# Внутренний поиск, квизы и фильтры
Disallow: /search/
Disallow: /quiz/

# Личные кабинеты (NEED_AUTH — не должны попадать в индекс)
Disallow: /personal/
Disallow: /up/
Disallow: /partner-page/
Disallow: /ip/
Disallow: /vp/

# Авторизация и служебные партнёрские страницы
Disallow: /partners/signin/
Disallow: /partners/changepasswd/
Disallow: /partners/restore/
Disallow: /partners/signup/
Disallow: /partners/confirm/

# Catch-all для URL с GET-параметрами
Disallow: *?*

# Хвост «/null» — баг краулера Меты (meta-externalagent): приклеивает литерал
# null к легитимным адресам, 32 769 обращений за сутки 04.08.2026.
# Товар nullstack-analytics не задет — правило требует сегмент ровно «null».
Disallow: /*/null$
Disallow: /*/null/$


# ─────────────────────────────────────────────────────────────────────────────
# Краулер обучения ИИ Меты — закрыт полностью.
#
# Замер 04–06.08.2026: от 25 805 до 107 444 запросов в сутки (6–25% всего
# трафика сайта) и до 30% процессорного времени. Переходов с площадок Меты —
# ноль: Facebook и Instagram в России недоступны, Meta AI официально не
# работает, российскому B2B цитирование там ничего не даёт.
#
# ВАЖНО: закрыт ТОЛЬКО сборщик данных для обучения. Превью ссылок
# (facebookexternalhit, 326 запросов в сутки) НЕ ТРОГАЕМ — оно рисует заголовок
# и картинку, когда наши ссылки пересылают в WhatsApp, а им в России пользуются
# все. Оба агента ходят с одной подсети 57.141.0.0/24, поэтому блокировка по
# адресам недопустима — только по имени агента.
#
# GPTBot, ClaudeBot и PerplexityBot тоже не трогаем: они кормят ответы
# ИИ-поисковиков, где нас цитируют.
User-agent: meta-externalagent
Disallow: /


# ─────────────────────────────────────────────────────────────────────────────
# SemrushBot — закрыт 10.08.2026.
#
# Легальный краулер SEO-сервиса Semrush: собирает данные для СВОЕЙ базы,
# нам ничего не возвращает (мы Semrush не пользуемся, работаем с keys.so
# и Вебмастером). Замер за 09.08: две подсети (85.208.96.0/24 и
# 185.191.171.0/24) дали 7 497 запросов и 702 секунды процессорного времени —
# это 9% всей нагрузки сайта.
#
# Закрыт именно в robots.txt, а не блокировкой по адресам: Semrush своё же
# правило соблюдает, а решение легко отменить одной строкой, если однажды
# сервис нам понадобится.
User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

# DotBot (Moz / opensiteexplorer.org) — закрыт 12.08.2026, по той же причине,
# что и SemrushBot: собирает данные для СВОЕЙ базы ссылок, нам не возвращает
# ничего (мы Moz не пользуемся). Замер за 11.08: один адрес 216.244.66.230,
# 2 689 запросов и 277 сек процессорного времени = 4,5% нагрузки сайта.
# robots.txt он читает регулярно (14 обращений за сутки), значит послушается.
User-agent: DotBot
Disallow: /