Kalis Digital
Domov · Slovník pojmov · Čo je crawler
Slovník pojmov
Čo je crawler?
Crawler je automatický program vyhľadávača, ktorý prechádza weby, sťahuje ich obsah a posúva ho na spracovanie. Google používa Googlebot. Robot postupuje po odkazoch z jednej stránky na druhú a na každý web má obmedzený čas aj počet požiadaviek, ktoré je ochotný minúť.
Vysvetlené po ľudsky.
Predstavte si sčítacieho komisára, ktorý má za deň obísť celú ulicu. Do každého domu vojde len na chvíľu, poznačí si, čo vidí, a ide ďalej. Ak sú dvere zamknuté, dom vynechá. Ak je v dome bludisko chodieb, do polovice izieb sa nedostane. A ak sa dom otvára pomaly, stihne ich za ten istý čas menej. Preto sa rýchlemu a prehľadne prepojenému webu venuje viac než pomalému.
Prečo to majiteľa firmy zaujíma.
Kapacita, ktorú robot vášmu webu venuje, nie je nekonečná. Pri malom firemnom webe to nie je téma, pri e-shope so stovkami filtrovaných adries áno. Ak robot minie čas na nezmyselné kombinácie filtrov, na dôležité stránky sa nedostane a nové produkty sa objavujú v Google s oneskorením. Druhá vec je vykresľovanie: obsah, ktorý sa načítava až dodatočne cez skripty, robot nemusí vidieť. Preto trvám na tom, aby kľúčové texty a odkazy boli priamo v kóde stránky, nie dolievané až po načítaní. Na to nepotrebujete drahé riešenie, len správne postavený web.
Príklad z praxe.
Web postavený ako aplikácia, ktorá si obsah dopĺňa až po načítaní, vyzeral v prehliadači bezchybne. V Search Console však nástroj na kontrolu adresy ukázal takmer prázdnu stránku: robot dostal kostru bez textu. Zaradené boli len dve stránky z pätnástich. Riešením bolo doručovať hlavný obsah priamo v kóde stránky a skripty použiť len na doplnkové funkcie. Po prestavbe boli zaradené všetky stránky do týždňa. Toto je hlavný dôvod, prečo firemné weby staviam staticky: obsah je v kóde, robot ho vidí okamžite a nemusí sa spoliehať na to, že sa mu podarí spustiť skripty. Rovnaká vlastnosť pomáha aj AI asistentom, ktorí obsah sťahujú a často skripty vôbec nespúšťajú.
Kedy sa tým zaoberať.
Správaním robota sa zaoberajte pri dvoch príležitostiach. Prvá je spustenie nového webu, kde sa overí, či robot vidí obsah aj bez spustenia skriptov. Druhá je web s veľkým počtom adries, kde sa sleduje, či prechádzanie nemíňa kapacitu na filtre a triedenia. Pri bežnom firemnom webe je to jednorazová kontrola. Zaujímavejšie je to dnes v súvislosti s AI asistentmi, ktorí obsah sťahujú podobným spôsobom a často bez spúšťania skriptov. Ak chcete, aby vás citovali, musí byť obsah dostupný priamo v kóde stránky. Toto je jeden z praktických dôvodov, prečo staviam weby staticky a nie ako aplikáciu.
Ako to skontrolujem.
Ako vidí váš web robot, si viete pozrieť priamo v nástrojoch Google.
1V Google Search Console použite kontrolu adresy a možnosť zobraziť načítanú stránku. Uvidíte, čo robot reálne dostal.
2V prehľade štatistík prechádzania sledujte počet požiadaviek za deň a priemerný čas odpovede servera.
3Vypnite si v prehliadači skripty a otvorte svoju stránku. To, čo zostane viditeľné, je obsah, s ktorým môže robot pracovať bez ďalšej práce.
4Skontrolujte cez test rýchlosti, či server odpovedá dostatočne rýchlo na to, aby robot stihol prejsť viac stránok.
Časté chyby.
×Dôležitý obsah načítavaný až dodatočne skriptom, ktorý robot nemusí spracovať.
×Menu postavené na skriptoch bez bežných odkazov, takže robot nemá po čom prejsť.
×Tisíce adries z filtrov a triedenia bez obmedzenia, ktoré vyčerpajú kapacitu prechádzania.
×Blokované súbory so štýlmi a skriptami, bez ktorých robot nevie stránku vykresliť.
Súvisiace pojmy.
Ďalej v slovníku
Čo je indexácia · Čo je robots.txt · Čo je sitemap · Čo je Google Search Console · Čo je statický web · Čo je SEO audit
Čítajte ďalej
Ako sa dostať do AI vyhľadávania · Bezplatná kontrola webu · Celý slovník pojmov · Tvorba webu · Nástroje · Blog
Časté otázky.
Ako často Google prechádza môj web?
Podľa toho, ako často sa mení a aký je dôležitý. Pri malom firemnom webe rádovo raz za niekoľko dní až týždňov, pri často aktualizovanom blogu aj denne.
Vidí robot text v obrázku?
Nie ako text. Preto patria dôležité informácie do bežného textu a obrázok má mať popis v atribúte alt. To isté platí pre cenníky vložené ako fotografia.
Chodia na web aj iné roboty než Googlebot?
Áno, veľa. Okrem vyhľadávačov aj roboty AI asistentov, monitorovacie služby a nástroje na analýzu odkazov. Slušné sa hlásia menom a rešpektujú robots.txt.
Ako zistím, čo robot na mojej stránke vidí?
V Search Console cez kontrolu adresy a možnosť zobraziť načítanú stránku. Alternatívne si v prehliadači vypnite skripty a stránku načítajte znova.
Zaťažuje robot môj server?
Pri bežnom firemnom webe zanedbateľne. Problém nastáva pri weboch s tisíckami adries z filtrov, kde môže prechádzanie tvoriť citeľnú časť prevádzky.
Potrebujete to vyriešiť na svojom webe?
Robím weby na mieru od 250 €, redizajn od 250 € a e-shop od 590 €. Cenu poviem vopred podľa rozsahu.
Súvisiace