Vi har gjort det nemt selv at justere sitets robots.txt-fil, så du kan være med til at angive hvilke dele af sitet bots og crawlere må besøge. Det fortæller søgemaskiner og AI-tjenester, hvilke dele af siden de må besøge, og hvilke de skal holde sig fra.
Generer en robots.txt-fil
Vejledning
Navigation & Search
Du kan bruge vores tool til at generere din egen robots.txt fil, som og placere det på jeres site, som en vejviser til bots og crawlere.
Sådan gør du
Analyser Common Crawl data (valgfrit)
- Gå til fanen 'Analyser Common Crawl data'
- Indtast dit domæne og afslut med Søg.
Hvorfor er det relevant?
Common Crawl kan betegnes som et enormt åbent arkiv af internettet, som mange AI-modeller bruger til at lære fra. Ved at analysere disse data fra Common Crawl kan du se, hvilke af jeres sider der allerede bliver læst af bots. Hvis du kan se, at crawlere "spilder tid" på irrelevant indhold, forældede vejledninger eller arkiver, ved du, at du skal blokere dem i din robots.txt for at optimere jeres "crawl-budget" (den tid bots bruger på jeres site).
Find og indsæt sitemap
- Gå til fanen 'Konfigurer Robots.txt'.
- Indsæt dit sitemap URL i feltet
Hvad er et sitemap?
Et sitemap er en oversigt over alle siderne på en hjemmeside, som benyttes af søgemaskiner.
Hvor finder jeg sitemap'et?
Sitemappet vil typisk ligge på adressen ditdomæne.dk/sitemap.xml. Prøv at skrive det i din browser - og hvis du ser en liste indholdende links, så har du fat i det rigtige.
Tilføj fritekst (valgfrit)
Kommentar
Du kan tilføje en intern kommentar til din robots.tx. Start altid en kommentar med et havelåge tegn - det vil gøre at at det ikke læses af bots.
Eksempel: # Vi har fravalgt arkiver fra før 2025
Crawl delay
Crawl-delay er relevant, hvis sitet bliver langsommere af, at for mange bots besøger det. Så kan I bede dem om at vente lidt mellem hver side, så websitets hastighed bliver brugt på de rigtige brugere. Tallet angiver antal af sekunder mellem hver side. Bemærk: Google ignorerer ofte dette direktiv, da de selv styrer deres hastighed.
Eksempel: Crawl-delay: 10
Definer adgangsregler
Det er her du definerer hvilke dele af sitet, der eventuelt skal blokeres, så du sikrer at bots kun tager højde for jeres kerneindhold.
User Agent:
Angiver navnet på den bot, du henvender dig til. * (stjerne) betyder at reglen gælder for alle bots. Hvis du vil henvende dig til specifikke bots, kan du klikke “Tilføj User-Agent”.
Tilføj regler:
- Disallow: Brug det til at angive dele af sitet, der ikke skal crawles. Fx. /midlertidig-mappe eller /rapporter
- Allow: Bruges sjældnere, da bots som standard må se alt. Det er dog nyttigt, hvis du har blokeret en hel sti, men gerne vil give adgang til specifikt indhold stien.
Alt det du har tilføjet vil nu fremgå nederst i det generede output.
Tilføj til dit site
- Log ind i dit GoPublic CMS
- Kopier det genererede output og indsæt det i roden af dit site. Det gør du i SEO-sektionen.
- Afslut med Publish.
Senest opdateret 26-05-2026
