Kako optimizirati WordPress Robots.txt za SEO

Pred kratkim nas je eden od naših bralcev vprašal za nasvete, kako optimizirati datoteko robots.txt za izboljšanje SEO. Datoteka Robots.txt pove iskalnikom, kako preiskati vaše spletno mesto, zaradi česar je neverjetno močno orodje za SEO. V tem članku vam bomo pokazali, kako ustvariti popolno datoteko robots.txt za SEO.


Uporaba datoteke WordPress robots.txt za izboljšanje SEO

Kaj je datoteka robots.txt?

Robots.txt je besedilna datoteka, ki jo lahko ustvarijo lastniki spletnih mest, da botom iskalnih spletnih mest povedala, kako se pajkati in indeksirati strani na svojem spletnem mestu.

Običajno je shranjen v korenskem imeniku, imenovanem tudi glavna mapa vašega spletnega mesta. Osnovna oblika datoteke robots.txt izgleda tako:

Uporabniško sredstvo: [ime uporabniškega agenta]
Onemogoči: [URL ni treba pajkati]

Uporabniško sredstvo: [ime uporabniškega agenta]
Dovoli: [URL niz za pajkanje]

Zemljevid spletnega mesta: [URL vašega spletnega mesta XML]

Če želite dovoliti ali onemogočiti določene URL-je in dodati več zemljevidov, lahko imate več vrstic z navodili. Če ne onemogočite URL-ja, boti iskalnih spletnih mest predpostavljajo, da jih je dovoljeno pajkati.

Tukaj lahko izgleda primer datoteke robots.txt:

Uporabniški agent: *
Dovoli: / wp-content / uploads /
Onemogoči: / wp-content / plugins /
Onemogoči: / wp-admin /

Zemljevid spletnega mesta: https://example.com/sitemap_index.xml

V zgornjem primeru robots.txt smo dovolili iskalnikom, da se plazijo in indeksirajo datoteke v naši mapi za nalaganje WordPressa.

Po tem smo onemogočili iskalnim botom, da bi pajkali in indeksirali vtičnike in skrbniške mape WordPress.

Nazadnje smo navedli URL spletnega mesta XML.

Ali potrebujete datoteko Robots.txt za svoje WordPress spletno mesto?

Če nimate datoteke robots.txt, bodo iskalni iskalniki še vedno plazil in indeksiral vaše spletno mesto. Vendar iskalnikom ne boste mogli povedati, katere strani ali mape naj se ne plazijo.

To ne bo imelo velikega učinka, ko prvič začnete blog in nimate veliko vsebine.

Ker pa vaše spletno mesto raste in imate veliko vsebine, boste verjetno želeli boljši nadzor nad tem, kako se vaše spletno mesto pregleduje in indeksira.

Tukaj je zakaj.

Iskalni roboti imajo kvoto za pajkanje za vsako spletno mesto.

To pomeni, da med sejo pajkanja pregledujejo določeno število strani. Če ne bodo končali z brskanjem po vseh straneh na vašem spletnem mestu, se bodo v naslednji seji vrnili in nadaljevali s pajkanjem..

To lahko upočasni stopnjo indeksiranja vašega spletnega mesta.

To lahko odpravite tako, da onemogočite iskalne bote pri poskusu pajkanja nepotrebnih strani, kot so vaše skrbniške strani WordPress, datoteke z vtičniki in mapo teme.

Z onemogočanjem nepotrebnih strani shranite kvoto za pajkanje. To pomaga iskalnikom iskati še več strani na vašem spletnem mestu in jih čim hitreje indeksirati.

Drug dober razlog za uporabo datoteke robots.txt je, kadar želite iskalnikom preprečiti indeksiranje objave ali strani na vašem spletnem mestu.

Ni najvarnejši način, da vsebino skrijete pred širšo javnost, vendar vam bo pomagal preprečiti, da bi se prikazale v rezultatih iskanja.

Kako izgleda idealna datoteka Robots.txt?

Mnogi priljubljeni spletni dnevniki uporabljajo zelo preprosto datoteko robots.txt. Njihova vsebina se lahko razlikuje, odvisno od potreb določenega spletnega mesta:

Uporabniški agent: *
Ne dovoli:

Zemljevid spletnega mesta: http://www.example.com/post-sitemap.xml
Zemljevid spletnega mesta: http://www.example.com/page-sitemap.xml

Ta datoteka robots.txt vsem botom omogoča indeksiranje vse vsebine in jim ponuja povezavo do zemljevidov XML spletnega mesta.

Za spletna mesta WordPress priporočamo naslednja pravila v datoteki robots.txt:

Uporabniški agent: *
Dovoli: / wp-content / uploads /
Onemogoči: / wp-content / plugins /
Onemogoči: / wp-admin /
Onemogoči: /readme.html
Ne dovoli: / napoti /

Zemljevid spletnega mesta: http://www.example.com/post-sitemap.xml
Zemljevid spletnega mesta: http://www.example.com/page-sitemap.xml

To povejte iskalnim botom, da indeksirajo vse slike in datoteke WordPressa. Iskalne bote onemogoči indeksiranje datotek vtičnikov WordPress, skrbniško območje WordPress, datoteko readme WordPress in pridružene povezave.

Z dodajanjem zemljevidov spletnih mest v datoteko robots.txt Googlovim botom olajšate iskanje vseh strani na vašem spletnem mestu.

Zdaj, ko veste, kako izgleda idealna datoteka robots.txt, poglejmo, kako lahko ustvarite datoteko robots.txt v WordPressu.

Kako ustvariti datoteko Robots.txt v WordPressu?

Obstajata dva načina za ustvarjanje datoteke robots.txt v WordPressu. Izberete lahko način, ki vam najbolj ustreza.

1. način: Urejanje datoteke Robots.txt z uporabo Yoast SEO

Če uporabljate vtičnik Yoast SEO, je na voljo z generatorjem datotek robots.txt.

Z njim lahko ustvarite in uredite datoteko robots.txt neposredno iz skrbniškega področja WordPress.

Preprosto pojdite SEO »Orodja strani v vašem WordPress administratorju in kliknite povezavo Urejevalnik datotek.

Orodje za urejanje datotek v Yoast SEO

Na naslednji strani bo Yoast SEO stran prikazala vašo obstoječo datoteko robots.txt.

Če nimate datoteke robots.txt, bo Yoast SEO za vas ustvaril datoteko robots.txt.

Ustvarite datoteko robots.txt s pomočjo Yoast SEO

Privzeto bo generator datotek robots.txt Yoast SEO v vašo datoteko robots.txt dodal naslednja pravila:

Uporabniški agent: *
Prekliči: /

je pomembno da izbrišete to besedilo, ker prepreči, da bi vsi iskalniki iskali vaše spletno mesto.

Ko izbrišete privzeto besedilo, lahko nadaljujete in dodate svoja pravila robots.txt. Priporočamo uporabo idealne oblike robots.txt, ki smo jo delili zgoraj.

Ko končate, ne pozabite klikniti gumba »Shrani datoteko robots.txt«, da shranite spremembe.

2. način 2. Urejanje datoteke Robots.txt ročno s pomočjo FTP

Za to metodo boste morali za urejanje datoteke robots.txt uporabiti odjemalca FTP.

Preprosto se povežite s svojim WordPress računom gostovanja s pomočjo odjemalca FTP.

Ko boste v notranjosti, boste lahko videli datoteko robots.txt v korenski mapi vašega spletnega mesta.

Urejanje datoteke WordPress robots.txt s pomočjo FTP

Če ga ne vidite, verjetno nimate datoteke robots.txt. V tem primeru lahko samo nadaljujete in ustvarite eno.

Ustvari datoteko robots.txt s pomočjo FTP

Robots.txt je navadna besedilna datoteka, kar pomeni, da jo lahko prenesete v računalnik in jo uredite s pomočjo katerega koli urejevalnika navadnega besedila, kot sta Notepad ali TextEdit.

Ko shranite spremembe, jo lahko naložite nazaj v korensko mapo svojega spletnega mesta.

Kako preizkusiti datoteko Robots.txt?

Ko ustvarite datoteko robots.txt, jo je vedno dobro preizkusiti z orodjem za preizkušanje robots.txt..

Na voljo je veliko orodij za preizkušanje robots.txt, vendar priporočamo, da uporabite tisto znotraj Google Search Console.

Preprosto se prijavite v račun Google Search Console in preklopite na staro spletno mesto Googlove iskalne konzole.

Preklopite na staro Google Search Console

Odprlo se bo stari vmesnik Google Search Console. Od tod morate zagnati orodje za preizkušanje robots.txt, ki se nahaja v meniju »Pojdi«.

Robots.txt orodje za preizkušanje

Orodje bo samodejno prejelo datoteko robots.txt vašega spletnega mesta in poudarilo napake in opozorila, če jih je našlo.

Končne misli

Cilj optimizacije datoteke robots.txt je preprečiti, da bi iskalniki iskali strani, ki niso javno dostopne. Na primer strani v mapi wp-plugins ali strani v skrbniški mapi WordPress.

Pogost mit med strokovnjaki za SEO je, da bo blokiranje WordPress kategorij, oznak in arhivskih strani izboljšalo hitrost plazenja in posledično hitrejše indeksiranje in višje uvrstitve..

To ni res. Prav tako je proti Googlovim smernicam za spletne skrbnike.

Priporočamo, da sledite zgornji obliki robots.txt, da ustvarite datoteko robots.txt za svoje spletno mesto.

Upamo, da vam je ta članek pomagal naučiti, kako optimizirati datoteko robots.txt WordPress za SEO. Morda boste želeli videti tudi naš vrhunski WordPress SEO vodič in najboljša orodja za WordPress SEO za rast vašega spletnega mesta.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me