Як створити інтернет-магазин дитячих товарів
Як створити інтернет-магазин дитячих товарів: вік, безпека та довіра Інтернет-магазин дитячих товарів будується навколо довіри батьків У дитячій ніші покупець рідко орієнтується тільки на ціну. Для б…
LightSEO · Технічне SEO
robots.txt для магазину: що закривати, а що ні
Один рядок у robots.txt може закрити від індексації весь сайт. І таке трапляється регулярно — особливо після переїзду з тестового сервера на бойовий.
1
файл у корені
5
типових розділів до закриття
0
закритих корисних сторінок
Що це
Як працює robots.txt
Це рекомендація, а не заборона. Файл каже роботам, куди не заходити. Але сторінка, закрита в robots, усе одно може потрапити в індекс через посилання.
Він не приховує сторінку від людей. Robots.txt доступний усім за адресою сайту — не ховайте в ньому службові шляхи.
Для надійного закриття потрібен noindex. Або заборона на рівні сервера, якщо сторінка справді не має бути публічною.
Закривати
Що зазвичай не потрібне в індексі
🛒
Кошик і оформлення
Персональні сторінки без цінності для пошуку.
👤
Особистий кабінет
Усе, що за авторизацією.
🔎
Результати пошуку по сайту
Генерують нескінченну кількість адрес.
⚙️
Службові розділи
Адмінка, системні файли, тестові сторінки.
Помилки
Найчастіші провали
Заборона всього сайту після розробки. Рядок, що закриває весь сайт, забули прибрати після переїзду на бойовий домен.
Закриті стилі й скрипти. Пошукова система не може відрендерити сторінку й бачить її зламаною.
Спроба закрити дублі через robots. Це не працює: для дублів потрібен canonical або noindex.
Не впевнені, що у вас у robots.txt?
Перевіримо файл і налаштування індексації — покажемо, що закрито дарма, а що навпаки варто закрити.