robots.txt, llms.txt a AI boty: čo povoliť a čo nie

Rozhodnutie závisí od cieľa. Ak sa chcete dostať do odpovedí AI vyhľadávania, povoľte vyhľadávacie boty. Ak sa materiály nemajú používať na trénovanie modelov, zablokujte boty na trénovanie. Servisné sekcie – košík, účet, interné vyhľadávanie – sa uzatvárajú pre všetkých. Súbor llms.txt zostáva dobrovoľným návrhom komunity a jeho podpora závisí od konkrétnej služby.

Stručne

• robots.txt sa umiestňuje v koreni domény; obsahuje pravidlá pre jednotlivé boty podľa názvu (User-agent).
• AI boty plnia rôzne úlohy: trénovanie modelov, indexácia pre vyhľadávanie a požiadavky v mene používateľa. Pravidlá sa nastavujú osobitne pre každú úlohu.
• robots.txt je žiadosť pre svedomité boty a dáta nechráni, preto súkromné informácie uzatvárajte autentifikáciou.
• llms.txt je nepovinný dobrovoľný návod; prednosť majú indexácia a kvalita obsahu.
• Názvy botov a pravidlá prevádzkovateľov sa menia, preto ich porovnávajte s dokumentáciou a overujte podľa serverových záznamov.

Tri úlohy AI botov

Názov bota sám osebe nič nehovorí o jeho úlohe, preto najprv rozdeľte boty podľa účelu. Prevádzkovatelia ho opisujú vo verejnej dokumentácii.

Názvy sú prevzaté z verejnej dokumentácie prevádzkovateľov v čase prípravy článku; menia sa, preto pred zapísaním pravidiel porovnajte aktuálne zoznamy. Google-Extended je značka pre robots.txt: podľa vysvetlení Google riadi použitie materiálov pre časť AI produktov spoločnosti a neovplyvňuje prítomnosť webu vo vyhľadávaní.

Ak chcete zistiť, kto presne web navštevuje, otvorte serverové záznamy alebo reporty hostingu a pozrite sa na hodnoty User-Agent. Medzi riadkami sa môžu objaviť boty, ktoré nemáte vo svojom zozname: pred zablokovaním ich overte v dokumentácii prevádzkovateľa.

Čo povoliť a čo uzatvoriť

Rozhodnutie o botoch na trénovanie závisí od podnikania. Spoločnosti, ktoré získavajú zákazníkov cez vyhľadávanie a rozpoznateľnosť značky, často nechávajú otvorené všetko, čo pomáha ich nájsť. Vydavatelia a autori originálneho obsahu trénovanie obmedzujú častejšie. Jedno pravidlo pre všetky boty naraz takmer nikdy nevyhovuje, pretože úlohy sú rôzne.

Príklad pravidiel

Príklad pre web, ktorý chce zostať viditeľný vo vyhľadávaní a žiada, aby sa materiály nepoužívali na trénovanie. Názvy botov a cesty nahraďte vlastnými.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Ako čítať takýto súbor:

• Každá skupina sa začína riadkom User-agent s názvom bota, nasledujú pravidlá Allow a Disallow.
• Bot sa riadi najpresnejšou skupinou pre svoj názov, preto pre GPTBot platí vlastná skupina a pravidlá skupiny User-agent: * sa naň nevzťahujú.
• Cesta v pravidle sa uvádza od koreňa, na veľkosti písmen v cestách záleží.
• Riadok Sitemap určuje úplnú adresu mapy webu.
• Súbor platí len pre doménu a subdoménu, na ktorej je umiestnený, preto je pre každú subdoménu potrebný vlastný.

Ak chcete zostať otvorení pre všetky boty, stačí uzavrieť iba servisné sekcie:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Čo je llms.txt a či je potrebný

llms.txt je návrh komunity umiestniť v koreni webu textový súbor vo formáte Markdown s krátkym opisom webu a odkazmi na najdôležitejšie stránky. Myšlienka je v tom, aby jazykové modely ľahšie našli podstatné, najmä v dokumentácii a pomocných sekciách. Je to neoficiálna iniciatíva bez schváleného štandardu. Podpora závisí od konkrétneho nástroja.

Verejné záruky, že populárne vyhľadávače tento súbor zohľadňujú, neexistujú, preto sa vníma ako nepovinný doplnok po zvládnutí základov. Ak sa rozhodnete súbor vytvoriť, dodržiavajte jednoduché pravidlá:

• Stručne opíšte web a vymenujte hlavné sekcie s jednou vetou o každej.
• Dávajte odkazy na kanonické adresy, ktoré odpovedajú kódom 200.
• Udržiavajte súbor aktuálny po zmenách štruktúry webu.
• Nepridávajte pokyny pre modely ani pochybné tvrdenia: súbor má byť pravdivým sprievodcom.
• Pamätajte, že llms.txt nič neuzatvára: na obmedzenia slúži robots.txt.

Pri väčšine malých webov je lepšie venovať čas indexácii, štruktúre stránok a značeniu, ktoré sú opísané v článku Ako pripraviť web na AI vyhľadávanie: štruktúra, dáta, dôvera.

Zaťaženie servera a scrapery

Niektoré boty posielajú veľa požiadaviek a na slabom hostingu je to citeľné. Skontrolujte v záznamoch, ktoré boty vytvárajú hlavné zaťaženie. Pomáhajú obmedzenia frekvencie požiadaviek na úrovni CDN alebo servera, cachovanie stránok a pravidlá WAF. Direktívu Crawl-delay nepodporujú všetky boty, preto sa spoliehať len na ňu netreba. Buďte opatrní pri tvrdých blokovaniach podľa krajín či rozsahov IP: môžu odmietnuť užitočné boty aj skutočných zákazníkov.

Ako overiť pravidlá a nepoškodiť web

1. Otvorte adresu /robots.txt v prehliadači a presvedčte sa, že súbor odpovedá kódom 200 a obsahuje očakávané pravidlá.
2. Skontrolujte súbor v Google Search Console: report o robots.txt a kontrola jednotlivých adries ukazujú, či sú stránky dostupné pre Googlebot.
3. Analyzujte serverové záznamy: User-Agent, frekvenciu požiadaviek, návštevy uzavretých sekcií.
4. Overujte pravosť botov. Deklarovaný User-Agent je ľahké sfalšovať; prevádzkovatelia zvyčajne zverejňujú rozsahy IP adries alebo spôsoby overenia.
5. Prejdite nastavenia CDN, WAF a bezpečnostných pluginov: niektoré majú vstavané pravidlá pre AI boty, ktoré môžu byť v rozpore s robots.txt.
6. Kontrolu zopakujte po niekoľkých dňoch: boty súbor cachujú a na zmeny nereagujú okamžite.

Typické chyby

• Po testovaní ponechaný Disallow: / pre všetky boty: web zmizne z vyhľadávania.
• Blokovanie CSS a JavaScriptu potrebných na zobrazenie stránok.
• Pokus odstrániť stránku z vyhľadávania cez robots.txt. Zákaz skenovania neodstráni adresu z indexu; na to sa používa noindex, ktorý má bot možnosť prečítať.
• Kopírovanie cudzieho zoznamu botov bez overenia názvov a účelu.
• Spoliehanie sa na ochranu súkromných dát cez robots.txt: súbor je žiadosťou pre boty a je dostupný komukoľvek.
• Blokovanie všetkých AI botov bez rozhodnutia o viditeľnosti v odpovediach.

Otázky a odpovede

Oplatí sa blokovať GPTBot?

Závisí to od cieľa. Podľa dokumentácie prevádzkovateľa je GPTBot spojený s trénovaním modelov, kým vyhľadávací bot má samostatný názov. Zákaz GPTBot je preto žiadosťou nepoužívať stránky na trénovanie a sám osebe vyhľadávací bot neuzatvára. Rozhodnutie robí majiteľ obsahu s ohľadom na obchodný model.

Ovplyvňuje blokovanie AI botov pozície v Google?

Podľa vysvetlení Google značka Google-Extended neovplyvňuje prítomnosť webu vo vyhľadávaní. Blokovanie samotného Googlebotu naopak odstráni stránky z vyhľadávania. Preto skôr než pravidlá zmeníte, overte, na ktorého bota sa vzťahujú.

Dodržiavajú robots.txt všetky boty?

Nie. Svedomití prevádzkovatelia ho dodržiavajú. Cudzie scrapery môžu súbor ignorovať, preto sa pred nežiaducou návštevnosťou chránite obmedzením frekvencie požiadaviek, pravidlami WAF a požiadavkou na autorizáciu.

Potrebuje internetový obchod llms.txt?

Nie nevyhnutne. Pre e-shop sú dôležitejšie produktový feed, značenie Product, rýchly web a zrozumiteľné pravidlá. Ak máte voľné zdroje, súbor môžete pridať ako sprievodcu hlavnými sekciami.

Ako často prehodnocovať robots.txt?

Po každej zmene štruktúry webu, vydaní novej verzie alebo migrácii, ako aj plánovane raz za niekoľko mesiacov. Prevádzkovatelia aktualizujú názvy a účely botov, preto zoznam porovnávajte s ich dokumentáciou.

Záver

Riadiť prístup AI botov možno bez zložitých nástrojov: určte cieľ, rozdeľte boty podľa úloh, zapíšte pravidlá do robots.txt a overujte ich podľa záznamov. Súbor llms.txt zostáva nepovinným doplnkom k hlavnej práci na webe. Prehodnotenie pravidiel po každom veľkom vydaní novej verzie vás uchráni pred náhodnými chybami. Tím LightSEO – agentúra z Mukačeva, ktorá od roku 2015 pracuje na weboch a SEO – vám môže pomôcť skontrolovať váš robots.txt a celkový technický obraz. Na začiatok postačí SEO audit webu, pre nový projekt firemný web na kľúč.

Prečítajte si tiež

• Automatizácia reklamy na AI: Performance Max a Advantage+ bez ilúzií
• Umelá inteligencia v marketingu pre začiatočníkov: čo sa mení a čo sa učiť
• AI nástroje pre malý biznis: čo sa oplatí vyskúšať