Hva er web crawling?
Web crawling er prosessen der søkemotorer bruker automatiske roboter til å systematisk gjennomsøke nettet, følge lenker og lese innholdet på sidene. Det er det aller første steget i hvordan en søkemotor bygger søkeresultatene sine.
En crawler, ofte kalt edderkopp eller bot, starter med en liste kjente nettadresser. Den besøker hver side, leser innholdet og følger interne lenker og eksterne lenker videre til nye sider. Googles versjon heter Googlebot.
Hvorfor er web crawling viktig?
Hvis en side aldri blir crawlet, finnes den i praksis ikke for søkemotoren. Den kan ikke indekseres, og den kan ikke dukke opp i søkeresultatene. All synlighet i organisk søk starter altså med crawling.
For bedrifter betyr dette at nye sider og oppdateringer må være lette å oppdage. God teknisk SEO sørger for at roboten finner fram uten å møte ødelagte lenker eller stengte dører.
Hvordan påvirker du web crawling?
Du hjelper crawleren med å jobbe effektivt. Hold et ryddig sitemap som peker mot de viktigste sidene, og bruk robots.txt til å blokkere sider uten verdi, som filter- og søkeresultatsider.
For store nettsteder spiller crawlbudsjettet inn, altså hvor mange sider Google rekker å besøke. Rask serversvar, ryddig lenkestruktur og fjerning av duplikatinnhold gjør at roboten bruker tiden sin på sidene som faktisk skal rangere.
