Kaip optimizuoti „WordPress“ robots.txt SEO

Neseniai vienas iš mūsų skaitytojų paprašė mūsų patarimų, kaip optimizuoti robots.txt failą, siekiant pagerinti SEO. „Robots.txt“ failas nurodo paieškos varikliams, kaip aptikti jūsų svetainę, todėl tai yra neįtikėtinai galingas SEO įrankis. Šiame straipsnyje mes jums parodysime, kaip sukurti tobulą robots.txt failą SEO.


WordPress robots.txt failo naudojimas SEO tobulinimui

Kas yra robots.txt failas?

„Robots.txt“ yra tekstinis failas, kurį svetainių savininkai gali sukurti, kad paieškos sistemos robotai nurodytų, kaip aptikti ir indeksuoti savo svetainės puslapius.

Paprastai jis saugomas šakniniame kataloge, dar žinomu kaip pagrindinis jūsų svetainės aplankas. Pagrindinis robots.txt failo formatas atrodo taip:

Vartotojo agentas: [vartotojo agento vardas]
Neleisti: [URL eilutė neturi būti tikrinama]

Vartotojo agentas: [vartotojo agento vardas]
Leisti: [tikrinti URL eilutę]

Svetainės schema: [jūsų XML svetainės schemos URL]

Jei norite leisti arba neleisti konkrečių URL adresų ir pridėti kelių svetainių schemų, galite turėti kelias instrukcijas. Jei neatmetate URL, tada paieškos variklių robotai daro prielaidą, kad jiems leidžiama jį nuskaityti.

Štai kaip gali atrodyti robots.txt failo pavyzdys:

Vartotojo atstovas: *
Leisti: / wp-content / įkėlimai /
Neleisti: / wp-content / plugins /
Neleisti: / wp-admin /

Svetainės schema: https://example.com/sitemap_index.xml

Aukščiau pateiktame robots.txt pavyzdyje mes leidome paieškos varikliams tikrinti ir indeksuoti failus, esančius mūsų „WordPress“ įkėlimų aplanke..

Po to mes neleidome paieškos robotams tikrinti ir indeksuoti papildinių bei „WordPress“ administratoriaus aplankų.

Galiausiai pateikėme savo XML svetainės schemos URL.

Ar jums reikia „Robots.txt“ failo „WordPress“ svetainei?

Jei neturite robots.txt failo, paieškos varikliai vis tiek tikrins ir indeksuos jūsų svetainę. Tačiau jūs negalėsite pasakyti paieškos sistemoms, kurių puslapių ar aplankų jie neturėtų tikrinti.

Tai neturės daug įtakos, kai pirmą kartą įkursite tinklaraštį ir neturėsite daug turinio.

Tačiau augant jūsų svetainei ir turint daug turinio, greičiausiai norėtumėte geriau kontroliuoti, kaip jūsų svetainė yra aptinkama ir indeksuojama..

Štai kodėl.

Paieškos robotai turi tikrinimo kvotą kiekvienai svetainei.

Tai reiškia, kad tikrinimo seanso metu jie nuskaito tam tikrą skaičių puslapių. Jei jie nesibaigs visų jūsų svetainės puslapių tikrinimo, tada jie grįš ir toliau tikrins kitą sesiją.

Tai gali sulėtinti jūsų svetainės indeksavimo greitį.

Tai galite išspręsti neleidžiant paieškos robotams bandyti aptikti nereikalingų puslapių, tokių kaip „WordPress“ administratoriaus puslapiai, papildinių failai ir temų aplankas..

Atmesdami nereikalingus puslapius, išsaugote tikrinimo kvotą. Tai padeda paieškos varikliams nuskaityti dar daugiau jūsų svetainės puslapių ir kuo greičiau juos indeksuoti.

Kita svarbi priežastis naudoti robots.txt failą yra tada, kai norite sustabdyti paieškos variklius neindeksuoti žinutės ar puslapio jūsų svetainėje.

Tai nėra saugiausias būdas paslėpti turinį nuo plačiosios visuomenės, tačiau tai padės jums užkirsti kelią jų pasirodymui paieškos rezultatuose.

Kaip turėtų atrodyti idealus robots.txt failas?

Daugelyje populiarių tinklaraščių naudojamas labai paprastas failas robots.txt. Jų turinys gali skirtis, atsižvelgiant į konkrečios svetainės poreikius:

Vartotojo atstovas: *
Neleisti:

Svetainės schema: http://www.example.com/post-sitemap.xml
Svetainės schema: http://www.example.com/page-sitemap.xml

Šis robots.txt failas leidžia visiems robotams indeksuoti visą turinį ir suteikia jiems nuorodą į svetainės XML svetainės schemas.

„WordPress“ svetainėms mes rekomenduojame šias robots.txt failo taisykles:

Vartotojo atstovas: *
Leisti: / wp-content / įkėlimai /
Neleisti: / wp-content / plugins /
Neleisti: / wp-admin /
Neleisti: /readme.html
Neleisti: / kreiptis /

Svetainės schema: http://www.example.com/post-sitemap.xml
Svetainės schema: http://www.example.com/page-sitemap.xml

Tai nurodo paieškos robotams indeksuoti visus „WordPress“ vaizdus ir failus. Tai neleidžia paieškos robotams indeksuoti „WordPress“ papildinių failų, „WordPress“ administratoriaus srities, „WordPress“ skaitymo failo ir filialų nuorodų..

Pridėję svetainių schemas prie robots.txt failo, „Google“ robotai gali lengvai rasti visus jūsų svetainės puslapius.

Dabar, kai žinote, kaip atrodo idealus robots.txt failas, pažvelkime, kaip galite sukurti robots.txt failą „WordPress“.

Kaip sukurti „Robots.txt“ failą „WordPress“?

Yra du būdai, kaip sukurti robots.txt failą „WordPress“. Galite pasirinkti jums tinkamiausią metodą.

1 metodas: „Robots.txt“ failo redagavimas naudojant „Yoast SEO“

Jei naudojate „Yoast SEO“ papildinį, tada jis pateikiamas su robots.txt failų generatoriumi.

Galite naudoti jį kurdami ir redaguodami robots.txt failą tiesiai iš „WordPress“ administratoriaus srities.

Tiesiog eik į SEO »Įrankiai „WordPress“ administratoriaus puslapyje ir spustelėkite nuorodą „File Editor“.

Failų redagavimo įrankis „Yoast SEO“

Kitame puslapyje „Yoast SEO“ bus parodytas jūsų turimas robots.txt failas.

Jei neturite robots.txt failo, „Yoast SEO“ sukurs jums robots.txt failą.

Sukurkite robots.txt failą naudodami Yoast SEO

Pagal numatytuosius nustatymus „Yoast SEO“ robots.txt failų generatorius prie jūsų robots.txt failo pridės šias taisykles:

Vartotojo atstovas: *
Neleisti: /

tai yra svarbu kad ištrinsite šį tekstą, nes jis neleidžia visiems paieškos varikliams tikrinti jūsų svetainės.

Ištrynę numatytąjį tekstą, galite eiti į priekį ir pridėti savo robots.txt taisykles. Mes rekomenduojame naudoti idealųjį robots.txt formatą, kuriuo mes pasidalinome aukščiau.

Baigę nepamirškite paspausti mygtuką „Išsaugoti robots.txt failą“, kad išsaugotumėte pakeitimus.

2 būdas. Redaguoti „Robots.txt“ failą rankiniu būdu naudojant FTP

Norėdami naudoti šį metodą, turėsite naudoti FTP klientą, norėdami redaguoti robots.txt failą.

Tiesiog prisijunkite prie savo „WordPress“ prieglobos paskyros naudodami FTP klientą.

Patekę į vidų, galėsite pamatyti failą robots.txt savo svetainės šakniniame aplanke.

„WordPress“ robots.txt failo redagavimas naudojant FTP

Jei tokio nematote, greičiausiai neturite robots.txt failo. Tokiu atveju galite tiesiog eiti į priekį ir sukurti.

Sukurkite robots.txt failą naudodami FTP

„Robots.txt“ yra paprasto teksto failas, tai reiškia, kad galite jį atsisiųsti į savo kompiuterį ir redaguoti naudodami bet kurį paprasto teksto rengyklę, pvz., „Notepad“ ar „TextEdit“..

Išsaugoję pakeitimus, galite nusiųsti juos atgal į savo svetainės šakninį aplanką.

Kaip patikrinti Robots.txt failą?

Sukūrę failą robots.txt, visada verta jį išbandyti naudojant robots.txt testo įrankį..

Yra daugybė robots.txt testo įrankių, tačiau rekomenduojame naudoti tą, kuris yra „Google Search Console“.

Tiesiog prisijunkite prie „Google Search Console“ paskyros ir perjunkite į senąją „Google“ paieškos pulto svetainę.

Perjunkite į seną „Google“ paieškos konsolę

Tai pateks į senąją „Google Search Console“ sąsają. Čia turite paleisti bandymo įrankį robots.txt, esantį meniu „Tikrinimas“.

„Robots.txt“ testo įrankis

Įrankis automatiškai nuskaitys jūsų svetainės robots.txt failą ir išryškins klaidas bei perspėjimus, jei tokių buvo.

Baigiamosios mintys

Robots.txt failo optimizavimo tikslas yra užkirsti kelią paieškos varikliams tikrinti viešai neprieinamus puslapius. Pvz., Puslapiai jūsų „wp-plugins“ aplanke arba „WordPress“ administratoriaus aplanko puslapiai.

SEO ekspertų paplitęs mitas yra tas, kad užblokavus „WordPress“ kategoriją, žymas ir archyvo puslapius pagerės tikrinimo greitis ir bus spartesnis indeksavimas bei aukštesni reitingai.

Tai netiesa. Tai taip pat prieštarauja „Google“ žiniatinklio valdytojo gairėms.

Norėdami sukurti robots.txt failą savo svetainei, rekomenduojame laikytis aukščiau pateikto robots.txt formato.

Tikimės, kad šis straipsnis padėjo jums išmokti optimizuoti „WordPress“ robots.txt failą SEO. Taip pat galbūt norėsite pamatyti mūsų galutinį „WordPress“ SEO vadovą ir geriausius „WordPress“ SEO įrankius savo svetainei plėsti.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me