Hva er robots.txt?
Robots.txt er en tekstfil i roten av et nettsted som forteller søkeroboter hvilke deler av siden de får eller ikke får crawle. Den ligger alltid på adressen dittdomene.no/robots.txt.
Filen bruker enkle regler med Allow og Disallow for å styre roboter som Googlebot. Den er en sentral del av teknisk SEO og gir deg kontroll over hvordan nettstedet blir gjennomgått.
Hvorfor er robots.txt viktig?
Robots.txt hjelper deg å bruke crawlbudsjettet fornuftig. Ved å blokkere uvesentlige sider, som interne søkeresultater og admin-områder, sørger du for at robotene bruker tiden på innholdet som faktisk skal rangere i SERP.
Det er viktig å forstå at filen styrer crawling, ikke indeksering. En blokkert side kan fortsatt dukke opp i Google hvis andre lenker til den. Vil du holde en side helt ute, bruker du en noindex-tag i stedet, gjerne kombinert med en canonical-tag for duplikater.
Hvordan setter du opp robots.txt riktig?
Hold filen enkel og test den nøye, for en feil kan utilsiktet blokkere hele nettstedet fra Google. Blokker aldri CSS- og JavaScript-filer som siden trenger for å vises riktig.
Legg inn en linje som peker til sitemap, så finner søkemotorene de viktigste sidene raskere. Gjennomgå robots.txt jevnlig, særlig etter større endringer, slik at den alltid speiler dagens struktur og støtter den organiske trafikken.
