Hva er crawlbudsjett?
Crawlbudsjett er antall sider Googles crawler besøker på et nettsted innen en gitt tidsperiode. Det bestemmer hvor mye av nettstedet ditt Google rekker å gjennomsøke før den går videre.
Crawlbudsjettet påvirkes av to ting: hvor raskt og stabilt serveren din svarer, og hvor verdifullt Google vurderer innholdet. God sidehastighet og solid teknisk SEO gjør at Google crawler flere sider.
Hvorfor er crawlbudsjett viktig?
Hvis Google ikke crawler en side, blir den heller ikke indeksert eller synlig i søk. For store nettsteder med tusenvis av sider kan et knapt crawlbudsjett bety at viktige sider aldri når Googles indeks.
For mindre bedriftsnettsteder er crawlbudsjett sjelden et problem, fordi Google klarer å crawle alle sidene. Da bør du heller fokusere på rask indeksering av nytt innhold.
Hvordan utnytte crawlbudsjettet?
Hjelp Google med å prioritere riktig. Hold et ryddig sitemap som peker mot de viktigste sidene, og bruk robots.txt til å blokkere sider uten verdi, som filtersider og søkeresultater.
Fjern duplikatinnhold, rett opp ødelagte lenker og forbedre sidehastigheten. Da bruker Google budsjettet på innholdet som faktisk skal rangere.
