robots.txt pentru magazin: ce să blocați și ce nu
LightSEO · SEO tehnic
robots.txt pentru magazin: ce să blocați și ce nu
Un singur rând în robots.txt poate bloca indexarea întregului site. Și asta se întâmplă regulat – mai ales după mutarea de pe serverul de test pe cel de producție.
1
fișier în rădăcina site-ului
5
secțiuni tipice de blocat
Ce este
Cum funcționează robots.txt
Este o recomandare, nu o interdicție. Fișierul le spune roboților unde să nu intre. Dar o pagină blocată în robots poate ajunge totuși în index prin linkuri.
Nu ascunde pagina de oameni. Robots.txt este accesibil oricui la adresa site-ului – nu treceți în el căile de serviciu pe care vreți să le ascundeți.
Pentru o blocare sigură este nevoie de noindex. Sau de o restricție la nivel de server, dacă pagina chiar nu trebuie să fie publică.
De blocat
Ce nu are, de obicei, ce căuta în index
🛒
Coșul și finalizarea comenzii
Pagini personale fără valoare pentru căutare.
👤
Contul personal
Tot ce se află în spatele autentificării.
🔎
Rezultatele căutării pe site
Generează un număr infinit de adrese.
⚙️
Secțiuni de serviciu
Panoul de administrare, fișierele de sistem, paginile de test.
Greșeli
Cele mai frecvente eșecuri
Blocarea întregului site după dezvoltare. Au uitat să șteargă rândul care blochează tot site-ul după mutarea pe domeniul de producție.
Stiluri și scripturi blocate. Motorul de căutare nu poate randa pagina și o vede defectă.
Încercarea de a bloca duplicatele prin robots. Nu funcționează: pentru duplicate este nevoie de canonical sau noindex.
Nu sunteți siguri ce aveți în robots.txt?
Verificăm fișierul și setările de indexare – vă arătăm ce este blocat degeaba și ce, dimpotrivă, merită blocat.
