robots.txt, llms.txt și boții AI: ce să permiteți și ce nu

Decizia depinde de obiectiv. Ca să apăreți în răspunsurile căutării cu AI, permiteți boții de căutare. Dacă materialele nu trebuie să ajungă în antrenarea modelelor, închideți accesul boților de antrenare. Secțiunile tehnice – coșul, contul personal, căutarea internă – se închid pentru toți. Fișierul llms.txt rămâne o propunere benevolă a comunității, iar suportul lui depinde de serviciul concret.

Pe scurt

• robots.txt se plasează în rădăcina domeniului; el conține reguli pentru boți separați, după nume (User-agent).
• Boții AI îndeplinesc roluri diferite: antrenarea modelelor, indexarea pentru căutare și cererile făcute la solicitarea utilizatorului. Regulile se stabilesc separat pentru fiecare rol.
• robots.txt este o rugăminte adresată boților de bună-credință și nu protejează datele, de aceea informațiile private se închid prin autentificare.
• llms.txt este un indiciu opțional și benevol; prioritate au indexarea și calitatea conținutului.
• Numele boților și regulile operatorilor se schimbă, de aceea ele se compară cu documentația și se verifică după jurnalele serverului.

Trei roluri ale boților AI

Numele botului nu spune de la sine nimic despre rolul lui, de aceea mai întâi împărțiți boții după destinație. Operatorii o descriu în documentația publică.

Numele sunt luate din documentația publică a operatorilor la momentul pregătirii articolului; ele se schimbă, de aceea înainte de a introduce regulile verificați listele actuale. Google-Extended este un identificator pentru robots.txt: conform explicațiilor Google, el controlează utilizarea materialelor pentru o parte dintre produsele AI ale companiei și nu influențează prezența site-ului în căutare.

Ca să aflați cine anume vizitează site-ul, deschideți jurnalele serverului sau rapoartele hostingului și uitați-vă la valorile User-Agent. Printre rânduri pot apărea boți care nu sunt în lista dumneavoastră: înainte de a-i bloca, verificați-i în documentația operatorului.

Ce să permiteți și ce să închideți

Decizia privind boții de antrenare depinde de afacere. Companiile care atrag clienți prin căutare și prin notorietatea brandului lasă adesea deschis tot ce le ajută să fie găsite. Editorii și autorii de conținut original limitează mai des antrenarea. O regulă unică pentru toți boții deodată aproape niciodată nu se potrivește, pentru că rolurile sunt diferite.

Exemplu de reguli

Un exemplu pentru un site care vrea să rămână vizibil în căutare și cere ca materialele să nu fie folosite pentru antrenare. Înlocuiți numele boților și căile cu ale dumneavoastră.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Cum se citește un astfel de fișier:

• Fiecare grup începe cu rândul User-agent cu numele botului, apoi urmează regulile Allow și Disallow.
• Botul urmează grupul cel mai specific pentru numele său, de aceea pentru GPTBot se aplică propriul grup, iar regulile grupului User-agent: * nu i se aplică.
• Calea din regulă se indică de la rădăcină, iar literele mari și mici din căi contează.
• Rândul Sitemap indică adresa completă a hărții site-ului.
• Fișierul se aplică doar domeniului sau subdomeniului pe care este plasat, de aceea fiecare subdomeniu are nevoie de propriul fișier.

Dacă doriți ca site-ul să rămână deschis pentru toți boții, este suficient să închideți doar secțiunile tehnice:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Ce este llms.txt și dacă este necesar

llms.txt este propunerea comunității de a plasa în rădăcina site-ului un fișier text în format Markdown, cu o descriere scurtă a site-ului și linkuri către cele mai importante pagini. Ideea este ca modelelor de limbaj să le fie mai ușor să găsească esențialul, mai ales în documentație și în secțiunile de ajutor. Este o inițiativă neoficială, fără un standard aprobat. Suportul depinde de instrumentul concret.

Garanții publice că motoarele de căutare populare țin cont de acest fișier nu există, de aceea el este privit ca o completare opțională, după elementele de bază. Dacă decideți să creați fișierul, respectați câteva reguli simple:

• Descrieți pe scurt site-ul și enumerați secțiunile principale, cu o propoziție despre fiecare.
• Dați linkuri către adresele canonice care răspund cu codul 200.
• Mențineți fișierul actualizat după modificările structurii site-ului.
• Nu adăugați instrucțiuni pentru modele sau afirmații îndoielnice: fișierul trebuie să fie un ghid veridic.
• Rețineți că llms.txt nu închide nimic: pentru restricții există robots.txt.

Pentru majoritatea site-urilor mici, timpul este mai bine investit în indexare, structura paginilor și marcaj, descrise în articolul Cum pregătiți site-ul pentru căutarea cu AI: structură, date, încredere.

Încărcarea serverului și scraperele

Unii boți trimit multe cereri, iar pe un hosting slab acest lucru se simte. Verificați în jurnale ce boți creează încărcarea principală. Ajută limitarea frecvenței cererilor la nivel de CDN sau de server, memorarea paginilor în cache și regulile WAF. Directiva Crawl-delay nu este suportată de toți boții, de aceea nu merită să vă bazați doar pe ea. Fiți atenți la blocările dure după țări sau după intervale de IP: ele pot respinge boții utili și clienții reali.

Cum verificați regulile fără a dăuna site-ului

1. Deschideți adresa /robots.txt în browser și asigurați-vă că fișierul răspunde cu codul 200 și conține regulile așteptate.
2. Verificați fișierul în Google Search Console: raportul despre robots.txt și inspecția adreselor separate arată dacă paginile sunt accesibile pentru Googlebot.
3. Analizați jurnalele serverului: User-Agent, frecvența cererilor, vizitele în secțiunile închise.
4. Verificați autenticitatea boților. User-Agent-ul declarat este ușor de falsificat; operatorii publică de obicei intervalele de adrese IP sau modalitățile de verificare.
5. Revedeți setările CDN-ului, ale WAF-ului și ale pluginurilor de securitate: unele au reguli încorporate pentru boții AI, care pot contrazice robots.txt.
6. Repetați verificarea după câteva zile: boții păstrează fișierul în cache și nu reacționează instantaneu la modificări.

Greșeli tipice

• Un Disallow: / pentru toți boții, rămas după testare: site-ul dispare din căutare.
• Blocarea fișierelor CSS și JavaScript necesare pentru afișarea paginilor.
• Încercarea de a scoate o pagină din căutare prin robots.txt. Interdicția de scanare nu elimină adresa din index; pentru aceasta se folosește noindex, pe care botul trebuie să-l poată citi.
• Copierea listei de boți a altcuiva fără verificarea numelor și a destinației.
• Bazarea pe robots.txt pentru protecția datelor private: fișierul este o rugăminte adresată boților și este accesibil oricui.
• Blocarea tuturor boților AI fără o decizie privind vizibilitatea în răspunsuri.

Întrebări și răspunsuri

Merită să blocați GPTBot?

Depinde de obiectiv. Conform documentației operatorului, GPTBot este legat de antrenarea modelelor, iar botul de căutare are un nume separat. De aceea interdicția pentru GPTBot este o rugăminte de a nu folosi paginile pentru antrenare și nu închide de la sine botul de căutare. Decizia o ia proprietarul conținutului, ținând cont de modelul de afaceri.

Influențează blocarea boților AI pozițiile în Google?

Conform explicațiilor Google, identificatorul Google-Extended nu influențează prezența site-ului în căutare. Blocarea lui Googlebot însuși, dimpotrivă, scoate paginile din căutare. De aceea, înainte de a modifica regulile, verificați cărui bot i se aplică.

Respectă toți boții robots.txt?

Nu. Operatorii de bună-credință îl respectă. Scraperele terțe pot ignora fișierul, de aceea protecția împotriva traficului nedorit se face prin limitarea frecvenței cererilor, prin regulile WAF și prin cerința de autorizare.

Are nevoie un magazin online de llms.txt?

Nu neapărat. Pentru un magazin sunt mai importante feedul de produse, marcajul Product, un site rapid și politici clare. Dacă există resurse libere, fișierul poate fi adăugat ca ghid al secțiunilor principale.

Cât de des să revizuiți robots.txt?

După fiecare modificare a structurii site-ului, lansare de versiune nouă sau migrare, precum și planificat, o dată la câteva luni. Operatorii actualizează numele și destinația boților, de aceea comparați lista cu documentația lor.

Concluzie

Accesul boților AI poate fi gestionat fără instrumente complicate: stabiliți obiectivul, împărțiți boții pe roluri, stabiliți regulile în robots.txt și verificați-le după jurnale. Fișierul llms.txt rămâne o completare opțională a muncii de bază asupra site-ului. Revizuirea regulilor după fiecare lansare mare vă va feri de erori accidentale. Echipa LightSEO – o agenție din Mukachevo (Ucraina) care din 2015 lucrează cu site-uri și SEO – vă poate ajuta să verificați robots.txt și imaginea tehnică generală a site-ului. Pentru început se potrivește auditul SEO al site-ului, iar pentru un proiect nou – site-ul corporativ la cheie.

Citiți și

• Automatizarea publicității cu AI: Performance Max și Advantage+ fără iluzii
• Inteligența artificială în marketing pentru începători: ce se schimbă și ce să învățați
• Instrumente AI pentru afaceri mici: ce merită încercat