Crawl budget optimizacija za velika spletna mesta

Večina spletnih mest nima težave s crawl budgetom

Crawl budget opisuje količino in hitrost pregledovanja, ki jo Google nameni spletnemu mestu. Google svojo napredno dokumentacijo namenja predvsem stranem z več kot milijonom URL-jev, srednje velikim stranem z več kot deset tisoč hitro spreminjajočimi se URL-ji ter domenam z velikim deležem statusa Discovered – currently not indexed. Za običajno predstavitveno stran sta kakovosten sitemap in zdravo indeksiranje dovolj.

Optimizacija brez diagnoze hitro postane tehnično gledališče. Najprej preverite, ali pomembne nove ali spremenjene strani čakajo predolgo, medtem ko Googlebot porablja zahteve za parametre, dvojnike in prazne filtre. Če so ključni URL-ji odkriti ter ponovno pregledani pravočasno, crawl budget ni poslovni problem.

Crawl Stats pokaže, kam odteka pozornost

Search Console Crawl Stats razkrije število zahtev, odzivne kode, tipe datotek, namen obiska in odzivni čas strežnika. Dopolnite ga s strežniškimi logi, kjer vidite konkretne URL-je in bote. Crawler orodje pokaže potencialni prostor URL-jev, log pa dejansko vedenje iskalnika. Šele kombinacija obeh omogoči dobro odločitev.

URL-je razvrstite v poslovne strani, podporno vsebino, veljavne produkte, dvojnike, parametre, iskanje, filtre, koledarje, sejne URL-je in napake. Nato izmerite delež Googlebotovih zahtev po skupinah. Cilj ni minimalno crawlinga, temveč večji delež za kakovostne strani, ki se spreminjajo in jih želite indeksirati.

• Crawl Stats in strežniški logi
• Skupine URL-jev po predlogi in namenu
• Frekvenca crawlinga ključnih strani
• Delež zahtev za napake, filtre in dvojnike

Odstranite neskončne URL prostore

Faceted navigation, sortiranje, notranje iskanje, koledarji in kombinacije parametrov lahko ustvarijo praktično neskončno število naslovov. Če ti URL-ji nimajo samostojne iskalne vrednosti, omejite njihove crawlable povezave, standardizirajte parametre in po potrebi uporabite robots.txt. Canonical pomaga pri združevanju, vendar mora Google dvojnik najprej obiskati, da signal vidi.

Robots.txt ni orodje za odstranjevanje že indeksiranega URL-ja. Blokiran naslov lahko ostane v rezultatih brez vsebine, če nanj kažejo povezave. Za odstranitev uporabite noindex na dostopni strani, trajno preusmeritev ali pravilen 404/410. Najprej določite želeni življenjski cikel URL-ja, nato izberite signal.

Hitrost in stabilnost določata crawl capacity

Google prilagaja hitrost obiskovanja odzivnosti strežnika. Dolgi odzivi, 5xx napake in preobremenitve zmanjšajo varno količino zahtev. Izboljšajte TTFB, predpomnjenje ter stabilnost, podprite 304 Not Modified za nespremenjene vire in odstranite dolge preusmeritvene verige. Pomembna sta tako čas HTML odziva kot strošek renderiranja skript.

Več strežniških virov ne zagotovi več crawlinga, če katalog nima kakovosti ali povpraševanja. Google crawl demand ocenjuje tudi glede na priljubljenost, unikatnost in uporabno vrednost. Tehnična zmogljivost ustvari prostor; močna vsebina pa razlog, da ga crawler uporabi.

Sitemap in notranje povezave postavijo prioritete

V sitemap vključite samo kanonične, indeksabilne URL-je z resničnim datumom spremembe. Razdelitev sitemapov po tipu ali svežini olajša diagnostiko. Napačen lastmod na vseh straneh ne prisili pogostejšega crawlinga, ampak zmanjšuje zaupanje v signal. Novi in pomembni URL-ji morajo biti hkrati dostopni prek običajnih notranjih povezav.

Uspeh merite kot krajši čas do crawlinga in indeksiranja pomembnih strani, manj zahtev za nerelevantne vzorce ter stabilnejši odziv strežnika. Ne optimizirajte skupnega števila zahtev na slepo. Če Googlebot obišče manj smeti in pravočasno osveži strani, ki ustvarjajo prihodek, je cilj dosežen.

Pogosta vprašanja