Dřív, než robot otevře stránku
robots.txt: vyhledávací roboti
robots.txt: uživatelští roboti
Sporné
- D na dotaz
- H ano
- P sporné
Roboti jako ChatGPT-User načtou stránku ve chvíli, kdy o ni požádá uživatel. OpenAI píše, že se na ně pravidla z robots.txt vztahovat nemusí [43]. Soubor tu tedy rozhoduje jen zčásti.
Opírá se o studie a dokumentaci.
robots.txt: trénovací roboti
Průchod přes CDN a firewall
AI hledá, ale sama neudělá
- D ne
- H sporné
- P ano
Cloudflare umí roboty AI zablokovat jedním přepínačem [44] a u nových domén část z nich blokuje už ve výchozím nastavení [45]. Web pak může mít robots.txt v pořádku a roboti se k němu stejně nedostanou. AI tohle při tvorbě webu neřeší.
Opírá se o studie a dokumentaci.
sitemap.xml
Sporné
- D na dotaz
- H ano
- P sporné
Vyhledávače ji používají k objevování adres. Doklad, že ji čtou roboti samotných AI, jsme nenašli.
Hledali jsme, měření jsme nenašli.
obrázky v sitemap.xml
AI hledá, ale sama neudělá
- D ne
- H sporné
- P sporné
Google doporučuje uvést obrázky v mapě webu, aby je snáz našel [42]. AI to při tvorbě webu sama neudělá. Jestli ten údaj čtou roboti AI, doložené není.
Opírá se o pozorování autora, ne o měření.
llms.txt
AI doporučuje, ale nepoužívá
- D na dotaz
- H ano
- P ne
Ahrefs v logách 137 000 domén zjistil, že 97 % těchto souborů nedostalo za květen 2026 ani jeden požadavek [9]. SE Ranking na 300 000 doménách nenašel žádnou souvislost mezi souborem a citacemi [47]. Google potvrdil, že ho jeho vyhledávání ignoruje [10]. Přesto Lighthouse jeho přítomnost kontroluje [9] [11]. Tento web soubor má, protože ho AI žádá.
Opírá se o studie a dokumentaci.
llms-full.txt a markdown verze stránek
AI doporučuje, ale nepoužíváNezažitá novinka
- D na dotaz
- H ano
- P ne
Příbuzní souboru llms.txt. Soubor llms-full.txt nese celý obsah webu v čistém textu, markdown verze je stejná stránka bez designu. Google píše, že jeho vyhledávání takové soubory nepoužívá a že viditelnosti nepomohou ani neuškodí [49]. Pozorování autora: AI je doporučuje stejně jako llms.txt.
Opírá se o pozorování autora, ne o měření.
Signály pro AI v robots.txt (Content Signals, RSL)
Ani AI to nenavrhneNezažitá novinka
- D ne
- H ne
- P sporné
Dva nové návrhy, kterými web říká, co se s jeho obsahem smí dělat. Content Signals od Cloudflare rozlišují vyhledávání, použití v odpovědi AI a trénování [59]. RSL přidává do robots.txt odkaz na licenční podmínky [60]. Obojí je jen prohlášení, co si majitel přeje. Vynutit se nedá a není jisté, kdo se jím bude řídit [66]. AI to při tvorbě ani při hodnocení webu nezmíní.
Opírá se o pozorování autora, ne o měření.
Stránka 404
AI hledá, ale sama neudělá
- D ne
- H ano
- P sporné
Stránka, která se ukáže na neexistující adrese. Server u ní má vracet stavový kód 404. Jak Google se stavovými kódy zachází, popisuje jeho dokumentace [54]. AI ji při tvorbě webu ani při optimalizaci sama nevytvoří, při hodnocení ale vytkne, že chybí. Jestli na ní záleží robotům AI, doložené není.
Opírá se o pozorování autora, ne o měření.
Podrobnosti sekce
- Poznámka
- Soubory v kořeni webu, které návštěvník nikdy neuvidí, a k nim jedna věc mimo web: síť, přes kterou web běží. U robots.txt záleží na tom, o jaký druh robota jde. Obrázky do mapy webu AI sama nepřidá.
- Odkud to pochází
- Soubor robots.txt navrhl Martijn Koster v únoru 1994 poté, co roboti zahlcovali servery. Oficiálním standardem (RFC 9309) se stal až v roce 2022 [38]. Sitemap zavedl Google v červnu 2005, v listopadu 2006 ji společně podpořily Google, Yahoo a Microsoft [39]. Soubor llms.txt navrhl Jeremy Howard 3. září 2024 [40].
Barvy v této sekci
- AI doporučuje a používá. AI to radí, kontroluje a opravdu čte.
- AI doporučuje, ale nepoužívá. AI to radí a vyžaduje, ale sama to nečte.
- Sporné. Hledali jsme důkaz a nenašli, nebo si důkazy odporují.
- AI hledá, ale sama neudělá. AI to při hodnocení vytkne nebo využije, ale sama to nevytvoří.
- Ani AI to nenavrhne. AI to nenabídne při tvorbě ani při optimalizaci a při hodnocení si toho nevšimne.
- Nezažitá novinka. Návrh z posledních let, který se ještě neusadil. Dnes ho skoro nikdo nepoužívá, časem se to může změnit.