Bagaimana Mengoptimumkan Robot.txt WordPress Anda untuk SEO

Baru-baru ini salah seorang pembaca kami meminta kami petua mengenai cara mengoptimumkan fail robots.txt untuk meningkatkan SEO. Fail Robots.txt memberitahu mesin carian bagaimana merangkak laman web anda yang menjadikannya alat SEO yang sangat kuat. Dalam artikel ini, kami akan menunjukkan kepada anda cara membuat fail robots.txt yang sempurna untuk SEO.


Menggunakan fail robots.txt WordPress untuk meningkatkan SEO

Apa itu fail robots.txt?

Robots.txt adalah fail teks yang boleh dibuat oleh pemilik laman web untuk memberitahu bot mesin carian bagaimana merangkak dan mengindeks halaman di laman web mereka.

Biasanya disimpan di direktori root yang juga dikenali sebagai folder utama laman web anda. Format asas untuk fail robots.txt kelihatan seperti ini:

Ejen pengguna: [nama ejen pengguna]
Tidak dibenarkan: [Rentetan URL tidak boleh dirayapi]

Ejen pengguna: [nama ejen pengguna]
Benarkan: [Rentetan URL dirayapi]

Peta Laman: [URL Peta Laman XML anda]

Anda boleh mempunyai beberapa baris arahan untuk membenarkan atau tidak membenarkan URL tertentu dan menambahkan beberapa peta laman. Sekiranya anda tidak membenarkan URL, bot mesin pencari menganggap bahawa mereka dibenarkan untuk merangkaknya.

Inilah rupa fail contoh robots.txt:

Ejen Pengguna: *
Benarkan: / wp-content / muat naik /
Tidak dibenarkan: / wp-content / plugins /
Tidak dibenarkan: / wp-admin /

Peta Laman: https://example.com/sitemap_index.xml

Dalam contoh robots.txt di atas, kami telah membenarkan mesin pencari merangkak dan mengindeks fail dalam folder muat naik WordPress kami.

Selepas itu, kami tidak membenarkan bot carian daripada merangkak dan mengindeks plugin dan folder admin WordPress.

Terakhir, kami telah memberikan URL peta laman XML kami.

Adakah Anda Memerlukan Fail Robots.txt untuk Laman WordPress Anda?

Sekiranya anda tidak mempunyai fail robots.txt, mesin carian akan tetap merangkak dan mengindeks laman web anda. Namun, anda tidak akan dapat memberitahu enjin carian halaman atau folder mana yang tidak boleh dirayapi.

Ini tidak akan banyak memberi kesan ketika anda mula-mula memulakan blog dan tidak mempunyai banyak kandungan.

Namun apabila laman web anda berkembang dan anda mempunyai banyak kandungan, maka anda mungkin ingin mempunyai kawalan yang lebih baik mengenai bagaimana laman web anda dirayapi dan diindeks.

Inilah sebabnya.

Bot carian mempunyai kuota perayapan untuk setiap laman web.

Ini bermaksud bahawa mereka merangkak sejumlah halaman semasa sesi merangkak. Sekiranya mereka tidak selesai merangkak semua halaman di laman web anda, mereka akan kembali dan meneruskan perayapan pada sesi seterusnya.

Ini dapat melambatkan kadar pengindeksan laman web anda.

Anda boleh memperbaikinya dengan tidak membenarkan bot carian daripada berusaha merangkak halaman yang tidak diperlukan seperti halaman pentadbir WordPress, fail pemalam, dan folder tema.

Dengan tidak membenarkan halaman yang tidak diperlukan, anda menyimpan kuota merangkak anda. Ini membantu mesin pencari merayapi lebih banyak halaman di laman web anda dan mengindeksnya secepat mungkin.

Alasan lain yang baik untuk menggunakan fail robots.txt adalah ketika anda ingin menghentikan mesin pencari mengindeks catatan atau halaman di laman web anda.

Ini bukan cara paling selamat untuk menyembunyikan kandungan dari orang awam, tetapi ini akan membantu anda mencegahnya muncul dalam hasil carian.

Apa yang Seperti Fail Robots.txt Ideal?

Banyak blog popular menggunakan fail robots.txt yang sangat mudah. Kandungannya mungkin berbeza-beza, bergantung pada keperluan laman web tertentu:

Ejen pengguna: *
Tidak dibenarkan:

Peta Laman: http://www.example.com/post-sitemap.xml
Peta Laman: http://www.example.com/page-sitemap.xml

Fail robots.txt ini membolehkan semua bot mengindeks semua kandungan dan memberikannya pautan ke peta laman XML laman web.

Untuk laman web WordPress, kami mengesyorkan peraturan berikut dalam fail robots.txt:

Ejen Pengguna: *
Benarkan: / wp-content / muat naik /
Tidak dibenarkan: / wp-content / plugins /
Tidak dibenarkan: / wp-admin /
Tidak dibenarkan: /readme.html
Tidak dibenarkan: / rujuk /

Peta Laman: http://www.example.com/post-sitemap.xml
Peta Laman: http://www.example.com/page-sitemap.xml

Ini memberitahu bot carian untuk mengindeks semua gambar dan fail WordPress. Ini tidak membenarkan bot carian mengindeks fail plugin WordPress, kawasan pentadbir WordPress, fail readme WordPress, dan pautan afiliasi.

Dengan menambahkan peta laman pada fail robots.txt, anda memudahkan bot Google mencari semua halaman di laman web anda.

Sekarang setelah anda mengetahui bagaimana bentuk fail robots.txt yang ideal, mari kita lihat bagaimana anda boleh membuat fail robots.txt di WordPress.

Cara Membuat Fail Robots.txt di WordPress?

Terdapat dua cara untuk membuat fail robots.txt di WordPress. Anda boleh memilih kaedah yang paling sesuai untuk anda.

Kaedah 1: Mengedit Fail Robots.txt Menggunakan SEO Yoast

Sekiranya anda menggunakan plugin Yoast SEO, ia dilengkapi dengan penjana fail robots.txt.

Anda boleh menggunakannya untuk membuat dan mengedit fail robots.txt terus dari kawasan pentadbir WordPress anda.

Cukup ke SEO »Alat halaman di pentadbir WordPress anda dan klik pada pautan Penyunting Fail.

Alat penyunting fail dalam Yoast SEO

Pada halaman seterusnya, halaman SEO Yoast akan menunjukkan fail robots.txt yang ada.

Sekiranya anda tidak mempunyai fail robots.txt, maka Yoast SEO akan menghasilkan fail robots.txt untuk anda.

Buat fail robots.txt menggunakan Yoast SEO

Secara lalai, penjana fail robots.txt Yoast SEO akan menambahkan peraturan berikut ke fail robots.txt anda:

Ejen pengguna: *
Tidak dibenarkan: /

Ia adalah penting bahawa anda memadamkan teks ini kerana menyekat semua enjin carian daripada merayapi laman web anda.

Setelah menghapus teks lalai, anda boleh teruskan dan menambahkan peraturan robots.txt anda sendiri. Kami mengesyorkan menggunakan format robots.txt yang sesuai yang kami kongsi di atas.

Setelah selesai, jangan lupa untuk mengklik butang ‘Simpan fail robots.txt’ untuk menyimpan perubahan anda.

Kaedah 2. Edit fail Robots.txt Secara Manual Menggunakan FTP

Untuk kaedah ini, anda perlu menggunakan klien FTP untuk mengedit fail robots.txt.

Cukup sambungkan ke akaun hosting WordPress anda menggunakan klien FTP.

Setelah masuk, anda akan dapat melihat fail robots.txt di folder root laman web anda.

Mengedit fail robots.txt WordPress menggunakan FTP

Sekiranya anda tidak melihatnya, anda mungkin tidak mempunyai fail robots.txt. Sekiranya demikian, anda boleh terus membuatnya dan membuatnya.

Buat fail robots.txt menggunakan FTP

Robots.txt adalah fail teks biasa, yang bermaksud anda boleh memuat turunnya ke komputer anda dan mengeditnya menggunakan penyunting teks biasa seperti Notepad atau TextEdit.

Setelah menyimpan perubahan anda, anda boleh memuat naiknya kembali ke folder root laman web anda.

Cara Menguji Fail Robots.txt Anda?

Setelah anda membuat fail robots.txt, adalah idea yang baik untuk mengujinya menggunakan alat penguji robots.txt.

Terdapat banyak alat penguji robots.txt di luar sana, tetapi kami mengesyorkan menggunakannya di Google Search Console.

Cukup log masuk ke akaun Konsol Carian Google anda, dan kemudian beralih ke laman web konsol carian Google lama.

Tukar ke Konsol Carian Google lama

Ini akan membawa anda ke antara muka Konsol Carian Google lama. Dari sini anda perlu melancarkan alat penguji robots.txt yang terletak di bawah menu ‘Crawl’.

Alat penguji Robots.txt

Alat ini akan secara automatik mengambil fail robots.txt laman web anda dan menyoroti kesilapan dan amaran sekiranya terdapat.

Pemikiran Akhir

Tujuan mengoptimumkan fail robots.txt anda adalah untuk mengelakkan mesin carian daripada merangkak halaman yang tidak tersedia untuk umum. Contohnya, halaman di folder wp-plugins anda atau halaman di folder admin WordPress anda.

Mitos biasa di kalangan pakar SEO ialah menyekat kategori, tag, dan halaman arkib WordPress akan meningkatkan kadar perayapan dan menghasilkan pengindeksan yang lebih cepat dan kedudukan yang lebih tinggi..

Ini tidak benar. Ini juga bertentangan dengan garis panduan webmaster Google.

Kami mengesyorkan agar anda mengikuti format robots.txt di atas untuk membuat fail robots.txt untuk laman web anda.

Kami harap artikel ini membantu anda mempelajari cara mengoptimumkan fail robots.txt WordPress anda untuk SEO. Anda juga mungkin ingin melihat panduan SEO WordPress utama kami dan alat SEO WordPress terbaik untuk mengembangkan laman web anda.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map