Kalis Digital
Domov · Slovník pojmov · Čo je robots.txt
Slovník pojmov
Čo je robots.txt?
Robots.txt je textový súbor uložený v koreni webu, ktorý robotom vyhľadávačov hovorí, ktoré časti webu môžu prechádzať a ktoré majú obísť. Nie je to zabezpečenie ani zákaz zobrazenia v Google, len pokyn pri prechádzaní. Slušné roboty ho rešpektujú, škodlivé nie.
Vysvetlené po ľudsky.
Je to ceduľa pri vchode do firmy s nápisom, ktoré dvere sú pre návštevy a ktoré sú služobné. Poctivý návštevník sa ňou riadi. Zlodej si ju prečíta tiež, ale správa sa podľa seba. Preto sa do robots.txt nikdy nepíšu adresy, ktoré chcete naozaj utajiť. Napísať tam cestu k skrytej administrácii je ako dať na ceduľu šípku s textom tadiaľto sa nechodí, sú tam trezory.
Prečo to majiteľa firmy zaujíma.
Jeden riadok v tomto súbore dokáže vypnúť celý web z vyhľadávania. Stáva sa to najčastejšie pri spustení nového webu, keď sa zabudne odstrániť zákaz prechádzania z testovacej fázy. Firma potom týždne čaká na návštevnosť, ktorá nemôže prísť. Opačný extrém je nechať robotom voľný prístup do administrácie, vyhľadávania a filtrov, kde míňajú kapacitu na stránky, ktoré nikto nehľadá. Pre bežný firemný web stačí niekoľko riadkov a odkaz na sitemap. Je to päťminútová vec, ktorá sa nastaví raz.
Príklad z praxe.
Najdrahšia chyba v tomto súbore vyzerá takto: web sa vyvíja na testovacej adrese, kde je zámerne zakázané prechádzanie. Pri spustení sa súbory prekopírujú na ostrú doménu aj so zákazom. Web je pekný, funkčný, klient spokojný, ale po mesiaci sa čuduje, prečo ho v Google nevidno. V Search Console pritom svieti hlásenie o blokovaní. Oprava je zmazanie jedného riadku a opätovné odoslanie sitemap, no mesiac je stratený. Preto do zoznamu krokov pred spustením patrí kontrola tohto súboru, kontrola značky noindex v šablóne a overenie adresy v Search Console. Tri kontroly, ktoré spolu trvajú päť minút a zabránia najbežnejšej chybe pri spúšťaní nových webov.
Kedy sa tým zaoberať.
Tento súbor kontrolujte pri každom spustení nového webu a pri každom presune z testovacej adresy na ostrú. Sú to päť minút, ktoré zabránia najdrahšej chybe v celom procese. Ďalší dôvod na zásah je situácia, keď má web tisíce adries z filtrov a robot míňa kapacitu na stránky, ktoré nikto nehľadá. Pri bežnom firemnom webe s dvadsiatimi stránkami stačí základné nastavenie a odkaz na sitemap. Ak riešite, či zablokovať roboty AI asistentov, zvážte to podľa toho, či chcete byť v ich odpovediach spomínaní. Pre malú lokálnu firmu je zvyčajne výhodnejšie zostať dostupný než sa zavrieť.
Ako to skontrolujem.
Obsah súboru si pozriete kedykoľvek, je verejný.
1Do prehliadača napíšte adresu vasafirma.sk/robots.txt. Ak súbor existuje, uvidíte jeho obsah.
2Hľadajte riadok Disallow. Ak je za ním len lomka, web je pre roboty úplne zatvorený.
3Overte, že súbor obsahuje odkaz na sitemap s úplnou adresou.
4V Google Search Console si otvorte prehľad robots.txt a skontrolujte, kedy ho Google naposledy načítal a či hlási chybu.
Časté chyby.
×Zabudnutý zákaz z testovacej verzie, ktorý po spustení vypne celý web z vyhľadávania.
×Blokovanie priečinkov s obrázkami a štýlmi. Google potom nevie stránku vykresliť a hodnotí ju horšie.
×Snaha skryť stránku pomocou robots.txt namiesto značky noindex. Adresa sa aj tak môže objaviť vo výsledkoch.
×Chýbajúci odkaz na sitemap, takže roboty musia obsah hľadať naslepo.
Súvisiace pojmy.
Ďalej v slovníku
Čo je sitemap · Čo je crawler · Čo je indexácia · Čo je Google Search Console · Čo je SEO audit · Čo je canonical
Čítajte ďalej
Kontrola SEO zadarmo · Ako byť vyššie v Google · Celý slovník pojmov · Tvorba webu · Nástroje · Blog
Časté otázky.
Musí mať web robots.txt?
Nemusí. Bez neho roboty prechádzajú všetko. Mať ho je však praktické, lebo cezeň nasmerujete roboty na sitemap a odfiltrujete nezaujímavé časti webu.
Skryje robots.txt stránku pred Google?
Nie spoľahlivo. Zabráni prechádzaniu, ale ak na stránku vedie odkaz odinakiaľ, adresa sa vo výsledkoch objaviť môže. Na skrytie slúži značka noindex.
Kde súbor nájdem a ako ho upravím?
Leží v koreni webu. Pri WordPresse ho zvyčajne generuje SEO doplnok a upravuje sa v jeho nastaveniach, pri statickom webe je to bežný textový súbor nahraný cez FTP.
Môžem v robots.txt blokovať konkrétny nástroj alebo robota?
Áno, pravidlá sa dajú písať pre konkrétne meno robota. Rešpektujú to len slušné roboty, škodlivé si súbor prečítajú a správajú sa podľa seba.
Ako zablokujem AI roboty?
Cez pravidlá pre ich konkrétne mená. Zvážte to však: zablokovanie znamená, že vás AI asistenti nebudú citovať, čo je pri malej firme skôr strata než ochrana.
Potrebujete to vyriešiť na svojom webe?
Robím weby na mieru od 250 €, redizajn od 250 € a e-shop od 590 €. Cenu poviem vopred podľa rozsahu.
Súvisiace