Hvordan optimalisere WordPress Robots.txt for SEO

Nylig ba en av leserne oss om tips om hvordan vi kan optimalisere robots.txt-filen for å forbedre SEO. Robots.txt-fil forteller søkemotorer hvordan du gjennomsøker nettstedet ditt, noe som gjør det til et utrolig kraftig SEO-verktøy. I denne artikkelen vil vi vise deg hvordan du oppretter en perfekt robots.txt-fil for SEO.


Bruke WordPress robots.txt-fil for å forbedre SEO

Hva er robots.txt-fil?

Robots.txt er en tekstfil som eiere av nettsteder kan lage for å fortelle søkemotoroboter hvordan de skal gjennomsøke og indeksere sider på nettstedet deres.

Det er vanligvis lagret i rotkatalogen også kjent som hovedmappen på nettstedet ditt. Det grunnleggende formatet for en robots.txt-fil ser slik ut:

Bruker-agent: [bruker-agent-navn]
Tillat: [URL-streng skal ikke gjennomgå]

Bruker-agent: [bruker-agent-navn]
Tillat: [URL-streng blir gjennomsøkt]

Nettkart: [URL til XML-områdekartet]

Du kan ha flere instrukselinjer for å tillate eller avvise spesifikke nettadresser og legge til flere nettkart. Hvis du ikke tillater en URL, antar roboter i søkemotorene at de har lov til å gjennomsøke den.

Slik kan en robots.txt eksempelfil se ut:

Bruker agent: *
Tillat: / wp-content / uploads /
Disallow: / wp-content / plugins /
Avvis: / wp-admin /

Nettkart: https://example.com/sitemap_index.xml

I eksempelet ovenfor på robots.txt har vi tillatt søkemotorer å gjennomsøke og indeksere filer i WordPress-opplastingsmappen.

Etter det har vi ikke tillatt søkeoboter fra å gjennomsøke og indeksere plugins og WordPress admin mapper.

Til slutt har vi gitt nettadressen til XML-områdekartet.

Trenger du en Robots.txt-fil for ditt WordPress-nettsted?

Hvis du ikke har en robots.txt-fil, vil søkemotorene fortsatt gjennomsøke og indeksere nettstedet ditt. Du vil imidlertid ikke kunne fortelle søkemotorer hvilke sider eller mapper de ikke skal gjennomsøke.

Dette vil ikke ha stor innvirkning når du først starter en blogg og ikke har mye innhold.

Når nettstedet ditt vokser og du har mye innhold, vil du sannsynligvis ha bedre kontroll over hvordan nettstedet ditt gjennomsøkes og indekseres..

Her er grunnen.

Søkeoboter har en gjennomgangskvote for hvert nettsted.

Dette betyr at de gjennomsøker et visst antall sider i løpet av en gjennomsøkingsøkt. Hvis de ikke er ferdige med å gjennomsøke alle sidene på nettstedet ditt, vil de komme tilbake og fortsette gjennomgangen i neste økt.

Dette kan redusere indekseringsfrekvensen for nettstedet.

Du kan fikse dette ved å la ikke søkeoboter prøve å gjennomsøke unødvendige sider som WordPress-admin-sidene, plugin-filene og temamappen..

Ved å ikke tillate unødvendige sider, lagrer du gjennomgangskvoten din. Dette hjelper søkemotorer med å gjennomsøke enda flere sider på nettstedet ditt og indeksere dem så raskt som mulig.

En annen god grunn til å bruke robots.txt-filen er når du vil stoppe søkemotorer fra å indeksere et innlegg eller en side på nettstedet ditt.

Det er ikke den tryggeste måten å skjule innhold for allmennheten, men det vil hjelpe deg å forhindre at de vises i søkeresultatene.

Hvordan ser en ideell Robots.txt-fil ut?

Mange populære blogger bruker en veldig enkel robots.txt-fil. Innholdet deres kan variere, avhengig av behovene til det spesifikke nettstedet:

Bruker agent: *
forby:

Nettkart: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Denne robots.txt-filen gjør det mulig for alle boter å indeksere alt innhold og gir dem en kobling til nettstedets XML-nettkart.

For WordPress-nettsteder anbefaler vi følgende regler i robots.txt-filen:

Bruker agent: *
Tillat: / wp-content / uploads /
Disallow: / wp-content / plugins /
Avvis: / wp-admin /
Avvis: /readme.html
Avvis: / refer /

Nettkart: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Dette forteller søkeboter for å indeksere alle WordPress-bilder og filer. Det forhindrer søkebots fra å indeksere WordPress-pluginfiler, WordPress admin-område, WordPress readme-fil og tilknyttede koblinger.

Ved å legge til områdekart i robots.txt-filen, gjør du det enkelt for Google-boter å finne alle sidene på nettstedet ditt.

Nå som du vet hvordan en ideell robots.txt-fil ser ut, la oss se på hvordan du kan lage en robots.txt-fil i WordPress.

Hvordan lage en Robots.txt-fil i WordPress?

Det er to måter å lage en robots.txt-fil i WordPress. Du kan velge metoden som fungerer best for deg.

Metode 1: Redigere Robots.txt-fil ved å bruke Yoast SEO

Hvis du bruker Yoast SEO-pluginen, kommer den med en robots.txt-filgenerator.

Du kan bruke den til å opprette og redigere en robots.txt-fil direkte fra ditt WordPress admin-område.

Bare gå til SEO »Verktøy -siden i WordPress-administratoren din, og klikk på File Editor-lenken.

Filredigeringsverktøy i Yoast SEO

På neste side viser Yoast SEO-siden din eksisterende robots.txt-fil.

Hvis du ikke har en robots.txt-fil, vil Yoast SEO generere en robots.txt-fil for deg.

Lag robots.txt-fil ved å bruke Yoast SEO

Som standard vil Yoast SEOs robots.txt-filgenerator legge til følgende regler i robots.txt-filen din:

Bruker agent: *
Avvis: /

Det er viktig at du sletter denne teksten fordi den blokkerer alle søkemotorer fra å gjennomsøke nettstedet ditt.

Etter å ha slettet standardteksten, kan du legge til dine egne robots.txt-regler. Vi anbefaler å bruke det ideelle robots.txt-formatet vi delte ovenfor.

Når du er ferdig, ikke glem å klikke på knappen Lagre robots.txt-filen for å lagre endringene dine.

Metode 2. Rediger Robots.txt-fil manuelt ved hjelp av FTP

For denne metoden må du bruke en FTP-klient til å redigere robots.txt-fil.

Bare koble til WordPress-vertskontoen din ved hjelp av en FTP-klient.

Når du er inne, vil du kunne se robots.txt-filen i root-mappen til nettstedet ditt.

Redigere WordPress robots.txt-fil ved hjelp av FTP

Hvis du ikke ser en, vil du sannsynligvis ikke ha en robots.txt-fil. I så fall kan du bare fortsette og lage en.

Lag robots.txt-fil ved hjelp av FTP

Robots.txt er en ren tekstfil, som betyr at du kan laste den ned til datamaskinen din og redigere den ved å bruke hvilken som helst ren tekstredigerer som Notepad eller TextEdit.

Etter å ha lagret endringene dine, kan du laste dem tilbake til nettstedets rotmappe.

Hvordan teste Robots.txt-filen?

Når du har laget robots.txt-filen din, er det alltid en god idé å teste den med et robots.txt-testerverktøy.

Det er mange robots.txt-testverktøy der ute, men vi anbefaler å bruke verktøyene i Google Search Console.

Bare logg inn på Google Search Console-kontoen din, og bytt deretter til den gamle Google Search Console-siden.

Bytt til gammel Google Search Console

Dette tar deg til det gamle Google Search Console-grensesnittet. Herfra må du starte robots.txt-testerverktøyet som ligger under ‘Gjennomsøk-menyen’.

Robots.txt testerverktøy

Verktøyet henter automatisk nettstedets robots.txt-fil og fremhever feilene og advarslene hvis det ble funnet.

Siste tanker

Målet med å optimalisere robots.txt-filen er å forhindre at søkemotorer gjennomsøker sider som ikke er offentlig tilgjengelige. For eksempel sider i wp-plugins-mappen eller sider i WordPress admin-mappen.

En vanlig myte blant SEO-eksperter er at blokkering av WordPress-kategorier, -koder og arkivsider vil forbedre gjennomsøkingsfrekvensen og føre til raskere indeksering og høyere rangering.

Dette er ikke sant. Det er også i strid med Googles retningslinjer for nettredaktører.

Vi anbefaler at du følger ovennevnte robots.txt-format for å opprette en robots.txt-fil for nettstedet ditt.

Vi håper denne artikkelen hjalp deg å lære å optimalisere WordPress robots.txt-filen for SEO. Det kan også være lurt å se vår ultimate WordPress SEO-guide og de beste WordPress SEO-verktøyene for å utvide nettstedet ditt.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map