Краулінговий бюджет: що це і кому про нього думати
LightSEO · Технічне SEO
Краулінговий бюджет: що це і кому про нього думати
У робота обмежений ресурс на обхід вашого сайту. Якщо він витрачає його на сміттєві сторінки, до нових товарів просто не доходить.
10 000+
сторінок — коли це важливо
Суть
Що це означає на практиці
Робот не обходить сайт повністю щодня. Він вирішує, скільки сторінок перевірити, спираючись на розмір сайту, швидкість і якість.
Для малих сайтів це не проблема. Якщо у вас двісті сторінок, робот обійде все. Питання виникає на тисячах адрес.
Ознака проблеми. Нові товари довго не з'являються в пошуку, а в індексі багато сміттєвих адрес.
Витоки
На що витрачається ресурс даремно
🎚
Комбінації фільтрів
Тисячі адрес, які ніхто не шукає.
🔁
Ланцюжки редиректів
Кожен крок — окремий запит робота.
🕳
Помилки й дублі
Сторінки, що віддають 404 або дублюють одна одну.
Рішення
Як зберегти ресурс
Закрити фільтри й сортування. Базове правило: індексуються тільки відкриті свідомо комбінації.
Прибрати ланцюжки редиректів. Пряме посилання замість трьох переходів.
Пришвидшити сервер. Чим швидше відповідає сайт, тим більше сторінок робот встигає обійти.
Стежити за звітом обходу. Search Console показує, скільки запитів робить робот і що саме він качає.
Нові товари довго не з'являються в пошуку?
Перевіримо статистику обходу й приберемо те, що відбирає ресурс у важливих сторінок.