Sitemap og robots.txt
- sådan styrer du googles crawling
Hvis Google ikke kan finde, forstå og prioritere dine vigtigste sider, taber du synlighed – uanset hvor godt dit indhold er. Her spiller sitemap og robots.txt en nøglerolle som “vejviser” og “dørmand” for Googlebot.
Med den rigtige opsætning sikrer du, at Googles crawl budget bruges på de sider, der skaber værdi, og at teknisk støj ikke står i vejen for dine SEO‑resultater.
VI SAMLER KUN PÅ GLADE KUNDER
Hvorfor sitemap og robots.txt er vigtige for seo
Forestil dig, at din hjemmeside er et bibliotek uden katalog. Uden et sitemap og klare regler i robots.txt risikerer Googlebot at bruge tiden de forkerte steder – og overse dine vigtigste “bøger”
I teknisk SEO bruger vi sitemap og robots.txt til at fortælle søgemaskinerne, hvad der er vigtigt, hvad der er mindre vigtigt, og hvad de helt skal holde sig fra. Det er centralt for både crawlbarhed og indeksering.
Se også vores side om teknisk SEO, hvor crawlbarhed og indeksering er en af de fem bærende søjler.
Robots.txt - dørmanden til din hjemmeside
Robots.txt er en lille tekstfil i roden af dit domæne (fx ditdomæne.dk/robots.txt), som fortæller Googlebot og andre crawlere, hvad de må og ikke må tilgå.
Med direktiver som User-agent, Disallow og Allow kan du blokere tekniske områder (fx /wp-admin/), testmiljøer, interne søgesider og andet, der ikke bør bruge crawl budget eller dukke op i søgeresultaterne.
Bedste praksis for robots.txt
- Bloker ikke vigtige ressourcer som CSS, JavaScript og billeder, som Google skal bruge for at se siden, som brugerne gør.
- Brug Disallow til loginområder, testdomæner, interne søgninger og tekniske sider, der ikke skal crawles.
- Tilføj altid et link til dit XML-sitemap i bunden af robots.txt, fx: Sitemap: https://ditdomæne.dk/sitemap.xml.
- Læs om hastighedsoptimering, så Google hurtigere kan hente dine sider
- Læs om HTTPS og sikkerhed, så Google og brugere trygt kan besøge dit site
Xml sitemap - kortet over dine vigtigste sider
Et XML-sitemap er en struktureret liste over de URL’er, du ønsker, at Google skal kende og kunne indeksere. Det er ikke en garanti for indeksering, men en stærk anbefaling til, hvor Google bør kigge hen.
Sitemaps er særligt vigtige for nye websites, store websites med mange undersider og sider, der ikke har mange interne links.
Bedste praksis for sitemap
- Inkludér kun kanoniske URL’er – ingen dubletter, 404’ere eller sider, der i forvejen er blokeret i robots.txt.
- Del meget store sites op i flere sitemaps og saml dem i et sitemap‑index, hvis du nærmer dig 50.000 URL’er eller 50 MB.
- Indsend altid dit sitemap i Google Search Console, så du får feedback på fejl og kan se, hvilke URL’er Google har set.
På Core Web Vitals-siden kan du se, hvordan teknisk performance og sideoplevelse spiller sammen med god indeksering.
Robots.txt vs. noindex – to forskellige værktøjer
Mange forveksler robots.txt med noindex, men de gør to vidt forskellige ting.
- Disallow i robots.txt blokerer crawling – Google må ikke hente indholdet.
- noindex meta‑tag tillader crawling, men forhindrer siden i at dukke op i søgeresultaterne.
Hvis du både blokerer en side i robots.txt og sætter noindex på den, kan Googlebot ikke se noindex‑tagget og kan stadig indeksere siden, hvis den findes via eksterne links. Derfor bruges robots.txt til crawl‑styring og noindex til synlighedsstyring.
Styr dit crawl budget – og din synlighed
Når sitemap og robots.txt spiller sammen, hjælper du Google med at bruge sit crawl budget på de sider, der betyder noget for din forretning – ikke på login-sider, testindhold eller tekniske undersider.
Det er en central del af teknisk SEO, som også tæller hastighedsoptimering, Core Web Vitals, mobilvenlighed og HTTPS & sikkerhed.
Har du styr på, hvad google crawler og indekserer?
Mange websites bruger kun standardopsætning i robots.txt og auto‑genererede sitemaps uden at tænke over, hvad Google faktisk ser. Resultatet er ofte spildt crawl budget og vigtige sider, der aldrig rigtigt får fodfæste i søgeresultaterne.
Hos Michael-co hjælper vi med at gennemgå din robots.txt, dine sitemaps og dine Search Console‑data, så du får fuldt overblik over, hvad Google ser – og hvad vi skal ændre.
Få en teknisk gennemgang af sitemap og robots.txt
Er du usikker på, om Google crawler de rigtige sider, eller om vigtige sider slet ikke bliver fundet og indekseret?
Book en gratis SEO-analyse, så gennemgår vi din tekniske opsætning – inkl. sitemap, robots.txt, hastighed, Core Web Vitals og mobilvenlighed – og giver dig en prioriteret plan for at få maksimal synlighed ud af dit crawl budget.
Michael Nielsen
SEO Ekspert