Как создать интернет-магазин детских товаров
Как создать интернет-магазин детских товаров: возраст, безопасность и доверие Интернет-магазин детских товаров строится вокруг доверия родителей В детской нише покупатель редко ориентируется только н…
LightSEO · Техническое SEO
robots.txt для магазина: что закрывать, а что нет
Одна строка в robots.txt может закрыть от индексации весь сайт. И такое случается регулярно — особенно после переезда с тестового сервера на боевой.
1
файл в корне
5
типичных разделов к закрытию
0
закрытых полезных страниц
Что это
Как работает robots.txt
Это рекомендация, а не запрет. Файл говорит роботам, куда не заходить. Но страница, закрытая в robots, всё равно может попасть в индекс через ссылки.
Он не скрывает страницу от людей. Robots.txt доступен всем по адресу сайта — не прячьте в нём служебные пути.
Для надёжного закрытия нужен noindex. Или запрет на уровне сервера, если страница действительно не должна быть публичной.
Закрывать
Что обычно не нужно в индексе
🛒
Корзина и оформление
Персональные страницы без ценности для поиска.
👤
Личный кабинет
Всё, что за авторизацией.
🔎
Результаты поиска по сайту
Генерируют бесконечное количество адресов.
⚙️
Служебные разделы
Админка, системные файлы, тестовые страницы.
Ошибки
Самые частые провалы
Запрет всего сайта после разработки. Строку, закрывающую весь сайт, забыли убрать после переезда на боевой домен.
Закрытые стили и скрипты. Поисковая система не может отрендерить страницу и видит её сломанной.
Попытка закрыть дубли через robots. Это не работает: для дублей нужен canonical или noindex.
Не уверены, что у вас в robots.txt?
Проверим файл и настройки индексации — покажем, что закрыто зря, а что наоборот стоит закрыть.