Generer en robots.txt-fil

• Gå til fanen 'Analyser Common Crawl data'
• Indtast dit domæne og afslut med Søg. 

Hvorfor er det relevant? 
Common Crawl kan betegnes som et enormt åbent arkiv af internettet, som mange AI-modeller bruger til at lære fra. Ved at analysere disse data fra Common Crawl kan du se, hvilke af jeres sider der allerede bliver læst af bots. Hvis du kan se, at crawlere "spilder tid" på irrelevant indhold, forældede vejledninger eller arkiver, ved du, at du skal blokere dem i din robots.txt for at optimere jeres "crawl-budget" (den tid bots bruger på jeres site).

• Gå til fanen 'Konfigurer Robots.txt'.
• Indsæt dit sitemap URL i feltet 

Hvad er et sitemap?
Et sitemap er en oversigt over alle siderne på en hjemmeside, som benyttes af søgemaskiner. 

Hvor finder jeg sitemap'et?  
Sitemappet vil typisk ligge på adressen ditdomæne.dk/sitemap.xml. Prøv at skrive det i din browser - og hvis du ser en liste indholdende links, så har du fat i det rigtige. 

Kommentar

Du kan tilføje en intern kommentar til din robots.tx. Start altid en kommentar med et havelåge tegn - det vil gøre at at det ikke læses af bots. 

Eksempel: # Vi har fravalgt arkiver fra før 2025

Crawl delay 

Crawl-delay er relevant, hvis sitet bliver langsommere af, at for mange bots besøger det. Så kan I bede dem om at vente lidt mellem hver side, så websitets hastighed bliver brugt på de rigtige brugere. Tallet angiver antal af sekunder mellem hver side. Bemærk: Google ignorerer ofte dette direktiv, da de selv styrer deres hastighed.

Eksempel: Crawl-delay: 10 

Det er her du definerer hvilke dele af sitet, der eventuelt skal blokeres, så du sikrer at bots kun tager højde for jeres kerneindhold.

User Agent:

Angiver navnet på den bot, du henvender dig til. * (stjerne) betyder at reglen gælder for alle bots. Hvis du vil henvende dig til specifikke bots, kan du klikke “Tilføj User-Agent”. 

Tilføj regler:

• Disallow: Brug det til at angive dele af sitet, der ikke skal crawles. Fx. /midlertidig-mappe eller /rapporter
• Allow: Bruges sjældnere, da bots som standard må se alt. Det er dog nyttigt, hvis du har blokeret en hel sti, men gerne vil give adgang til specifikt indhold stien.

Alt det du har tilføjet vil nu fremgå nederst i det generede output. 

• Log ind i dit GoPublic CMS
• Kopier det genererede output og indsæt det i roden af dit site. Det gør du i SEO-sektionen. 
• Afslut med Publish.