Generátor robots.txt a sitemap.xml.

Čo robí robots.txt a čo nerobí

Robots.txt je textový súbor v koreni domény, ktorý hovorí robotom, kam smú a kam nie. Je to prosba, nie zámok. Vyhľadávače ho rešpektujú, škodlivé skripty naň kašlú. Zároveň je verejný: ktokoľvek si otvorí vasafirma.sk lomka robots.txt a uvidí, ktoré cesty ste zakázali. Preto do neho nikdy nepíšte cesty k citlivým veciam, upozorníte na ne presne tých, ktorých ste chceli obísť.

Druhé nedorozumenie je, že zákaz v robots.txt stránku odstráni z Google. Neodstráni. Zákaz znamená len to, že robot obsah nenačíta. Adresa sa vo výsledkoch objaviť môže, len bez popisu. Ak chcete stránku naozaj vybrať z vyhľadávania, použite značku noindex v hlavičke a robot k nej musí mať prístup, aby ju vôbec videl.

Ako čítať sitemap.xml

Sitemap je zoznam adries, ktoré považujete za dôležité. Každý záznam má povinné pole loc s plnou adresou a tri voliteľné: lastmod s dátumom poslednej zmeny, changefreq s očakávanou frekvenciou zmien a priority s relatívnou dôležitosťou od 0.0 do 1.0.

Priorita a frekvencia sú pre Google slabé signály a berie ich ako orientačné. Skutočnú váhu má lastmod, ak je pravdivý. Preto v generátore vyššie nastavte dátum, ktorý naozaj zodpovedá poslednej úprave, a nie dnešok pri každom generovaní. Jeden súbor sitemap môže mať najviac 50 000 adries a 50 MB v nekomprimovanej podobe. Väčší web sa rozdelí na viac súborov a spojí indexovým sitemapom.

Ktoré adresy do sitemapu patria

• Patria: domovská stránka, podstránky služieb, referencie, kontakt, články, produktové stránky, teda všetko, čo chcete mať vo vyhľadávaní.
• Nepatria: adresy s noindex, presmerovania, chybové stránky, ďakovacie stránky po odoslaní formulára, filtrované výpisy s parametrami a duplicitné verzie tej istej stránky.
• Pozor: každá adresa má byť uvedená v tvare, ktorý je zároveň v canonical. Ak canonical smeruje na verziu bez lomky na konci, v sitemape má byť tiež bez lomky.

Kam súbory nahrať a ako ich odoslať

Oba súbory patria do koreňa domény. Nahráte ich cez FTP, cez správcu súborov na hostingu alebo ich pridáte do priečinka, z ktorého sa web publikuje. Potom sa prihláste do Google Search Console, otvorte sekciu Súbory sitemap a vložte adresu sitemap.xml. Prijatie sa zvyčajne zobrazí do niekoľkých minút, spracovanie trvá dlhšie. To isté sa oplatí spraviť v nástrojoch pre Bing, ktoré využíva aj vyhľadávanie v niektorých AI asistentoch.

Ak beží web na WordPresse, sitemap za vás obvykle generuje SEO plugin a súbor je dostupný na inej adrese, napríklad sitemap_index.xml. Vtedy vlastný súbor nenahrávajte, budete mať dva zoznamy, ktoré si protirečia. Použite ten, ktorý sa aktualizuje sám.

Zakázať AI roboty, alebo ich pustiť

Prepínač v nástroji pridá pravidlá pre roboty, ktoré zbierajú obsah pre jazykové modely. Rozhodnutie nie je jednoznačné a záleží na tom, čo od webu chcete. Ak predávate obsah, alebo nechcete, aby sa vaše texty učili modely, zákaz dáva zmysel. Ak ste firma, ktorá chce, aby ju asistenti odporúčali, keď sa niekto opýta na inštalatéra v Nitre, zákaz si strieľate do vlastnej nohy. Podrobnejšie to rozoberám v článku ako sa dostať do AI vyhľadávania.

Časté chyby, ktoré web vyradia z vyhľadávania

Najdrahšia chyba je riadok Disallow lomka pre všetkých robotov, ktorý zostane na webe po spustení z testovacej verzie. Web funguje, vyzerá dobre a pomaly mizne z výsledkov, lebo doňho nikto nesmie. Druhá častá chyba je sitemap s adresami na http, kým web beží na https. Tretia je zoznam, ktorý sa nikdy neaktualizoval a polovica adries v ňom vracia chybu 404. Po každom väčšom zásahu do webu si preto otvorte SEO kontrolu a pozrite, či robots.txt aj sitemap zodpovedajú realite.

Časté otázky