วิธีเพิ่มประสิทธิภาพ Robots.txt ของคุณสำหรับ SEO

เมื่อเร็ว ๆ นี้หนึ่งในผู้อ่านของเราได้ขอคำแนะนำเกี่ยวกับวิธีเพิ่มประสิทธิภาพไฟล์ robots.txt เพื่อปรับปรุง SEO ไฟล์ Robots.txt บอกเครื่องมือค้นหาวิธีรวบรวมข้อมูลเว็บไซต์ของคุณซึ่งทำให้เป็นเครื่องมือ SEO ที่มีประสิทธิภาพอย่างเหลือเชื่อ ในบทความนี้เราจะแสดงวิธีสร้างไฟล์ robots.txt ที่สมบูรณ์แบบสำหรับ SEO.


ใช้ไฟล์ WordPress robots.txt เพื่อปรับปรุง SEO

ไฟล์ robots.txt คืออะไร?

Robots.txt เป็นไฟล์ข้อความที่เจ้าของเว็บไซต์สามารถสร้างเพื่อบอกเครื่องมือค้นหาบอทวิธีรวบรวมข้อมูลและจัดทำดัชนีหน้าเว็บไซต์.

โดยทั่วไปจะถูกเก็บไว้ในไดเรกทอรีรากหรือที่เรียกว่าโฟลเดอร์หลักของเว็บไซต์ของคุณ รูปแบบพื้นฐานสำหรับไฟล์ robots.txt มีลักษณะดังนี้:

ตัวแทนผู้ใช้: [ชื่อผู้ใช้ตัวแทน]
ไม่อนุญาต: [ไม่ควรรวบรวมข้อมูล URL]

ตัวแทนผู้ใช้: [ชื่อผู้ใช้ตัวแทน]
อนุญาตให้: [สตริง URL ที่จะรวบรวมข้อมูล]

แผนผังไซต์: [URL ของ XML Sitemap ของคุณ]

คุณสามารถมีคำแนะนำหลายบรรทัดเพื่ออนุญาตหรือไม่อนุญาต URL ที่เฉพาะเจาะจงและเพิ่มแผนผังไซต์หลายรายการ หากคุณไม่อนุญาตให้ใช้ URL บ็อตของเครื่องมือค้นหาจะถือว่าอนุญาตให้ทำการรวบรวมข้อมูลได้.

นี่คือลักษณะของไฟล์ตัวอย่าง robots.txt:

ตัวแทนผู้ใช้: *
อนุญาต: / wp-content / อัพโหลด /
ไม่อนุญาต: / wp-content / plugins /
ไม่อนุญาต: / wp-admin /

แผนผังไซต์: https://example.com/sitemap_index.xml

ในตัวอย่าง robots.txt ข้างต้นเราได้อนุญาตให้เครื่องมือค้นหารวบรวมข้อมูลและจัดทำดัชนีไฟล์ในโฟลเดอร์อัพโหลด WordPress ของเรา.

หลังจากนั้นเราได้ห้ามไม่ให้บอทค้นหาทำการรวบรวมข้อมูลและจัดทำดัชนีปลั๊กอินและโฟลเดอร์ผู้ดูแลระบบ WordPress.

สุดท้ายเราได้จัดทำ URL ของแผนผังเว็บไซต์ XML ของเรา.

คุณต้องการไฟล์ Robots.txt สำหรับเว็บไซต์ WordPress ของคุณหรือไม่?

หากคุณไม่มีไฟล์ robots.txt แล้วเครื่องมือค้นหาจะยังคงรวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์ของคุณ อย่างไรก็ตามคุณจะไม่สามารถบอกเครื่องมือค้นหาว่าหน้าเว็บหรือโฟลเดอร์ใดที่ไม่ควรรวบรวมข้อมูล.

สิ่งนี้จะไม่ได้รับผลกระทบมากนักเมื่อคุณเริ่มสร้างบล็อกครั้งแรกและไม่มีเนื้อหามากนัก.

อย่างไรก็ตามเมื่อเว็บไซต์ของคุณเติบโตและมีเนื้อหาจำนวนมากคุณอาจต้องการควบคุมวิธีรวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์ของคุณ.

นี่คือเหตุผล.

บอทค้นหามีโควต้าการรวบรวมข้อมูลสำหรับแต่ละเว็บไซต์.

ซึ่งหมายความว่าพวกเขารวบรวมข้อมูลจำนวนหน้าในช่วงเซสชั่นการรวบรวมข้อมูล หากพวกเขาไม่รวบรวมข้อมูลหน้าทั้งหมดในเว็บไซต์ของคุณเสร็จสิ้นพวกเขาจะกลับมาและรวบรวมข้อมูลต่อในเซสชันถัดไป.

วิธีนี้จะทำให้อัตราการจัดทำดัชนีเว็บไซต์ของคุณช้าลง.

คุณสามารถแก้ไขได้โดยไม่อนุญาตให้บอทค้นหาพยายามรวบรวมข้อมูลหน้าที่ไม่จำเป็นเช่นหน้าผู้ดูแลระบบ WordPress, ไฟล์ปลั๊กอินและโฟลเดอร์ธีม.

เมื่อไม่อนุญาตหน้าเว็บที่ไม่จำเป็นทำให้คุณบันทึกโควต้าการรวบรวมข้อมูลของคุณ สิ่งนี้จะช่วยให้เครื่องมือค้นหารวบรวมข้อมูลหน้าเว็บไซต์ของคุณได้มากขึ้นและจัดทำดัชนีให้เร็วที่สุด.

อีกเหตุผลที่ดีในการใช้ไฟล์ robots.txt คือเมื่อคุณต้องการหยุดเครื่องมือค้นหาไม่ให้จัดทำดัชนีโพสต์หรือหน้าในเว็บไซต์ของคุณ.

ไม่ใช่วิธีที่ปลอดภัยที่สุดในการซ่อนเนื้อหาจากสาธารณะทั่วไป แต่จะช่วยให้คุณป้องกันไม่ให้ปรากฏในผลการค้นหา.

ไฟล์ Robots.txt ในอุดมคติควรมีหน้าตาเป็นอย่างไร?

บล็อกยอดนิยมจำนวนมากใช้ไฟล์ robots.txt ที่ง่ายมาก เนื้อหาของพวกเขาอาจแตกต่างกันไปขึ้นอยู่กับความต้องการของไซต์เฉพาะ:

ตัวแทนผู้ใช้: *
ไม่อนุญาตให้ใช้:

แผนผังไซต์: http://www.example.com/post-sitemap.xml
แผนผังไซต์: http://www.example.com/page-sitemap.xml

ไฟล์ robots.txt นี้อนุญาตให้บอตทั้งหมดจัดทำดัชนีเนื้อหาทั้งหมดและให้ลิงก์ไปยังแผนผังไซต์ XML ของเว็บไซต์.

สำหรับไซต์ WordPress เราแนะนำกฎต่อไปนี้ในไฟล์ robots.txt:

ตัวแทนผู้ใช้: *
อนุญาต: / wp-content / อัพโหลด /
ไม่อนุญาต: / wp-content / plugins /
ไม่อนุญาต: / wp-admin /
ไม่อนุญาต: /readme.html
ไม่อนุญาต: / อ้างอิง /

แผนผังไซต์: http://www.example.com/post-sitemap.xml
แผนผังไซต์: http://www.example.com/page-sitemap.xml

นี่เป็นการบอกบ็อตการค้นหาเพื่อจัดทำดัชนีรูปภาพและไฟล์ WordPress ทั้งหมด มันไม่อนุญาตให้ค้นหาบอตจากการจัดทำดัชนีไฟล์ปลั๊กอิน WordPress, พื้นที่ผู้ดูแลระบบ WordPress, ไฟล์ readme WordPress และลิงค์พันธมิตร.

ด้วยการเพิ่มแผนผังไซต์ในไฟล์ robots.txt คุณจะทำให้ Google บอทสามารถค้นหาหน้าทั้งหมดในเว็บไซต์ของคุณได้อย่างง่ายดาย.

ตอนนี้คุณรู้แล้วว่าไฟล์ robots.txt ในอุดมคติมีลักษณะอย่างไรมาดูกันว่าคุณสามารถสร้างไฟล์ robots.txt ใน WordPress ได้อย่างไร.

วิธีสร้างไฟล์ Robots.txt ใน WordPress?

มีสองวิธีในการสร้างไฟล์ robots.txt ใน WordPress คุณสามารถเลือกวิธีที่ดีที่สุดสำหรับคุณ.

วิธีที่ 1: แก้ไขไฟล์ Robots.txt โดยใช้ Yoast SEO

หากคุณใช้ปลั๊กอิน Yoast SEO ก็จะมาพร้อมกับตัวสร้างไฟล์ robots.txt.

คุณสามารถใช้มันเพื่อสร้างและแก้ไขไฟล์ robots.txt โดยตรงจากพื้นที่ผู้ดูแลระบบ WordPress ของคุณ.

เพียงไปที่ SEO »เครื่องมือ หน้าในผู้ดูแลระบบ WordPress ของคุณและคลิกที่ลิงค์ตัวแก้ไขไฟล์.

เครื่องมือแก้ไขไฟล์ใน Yoast SEO

ในหน้าถัดไปหน้า Yoast SEO จะแสดงไฟล์ robots.txt ที่คุณมีอยู่.

หากคุณไม่มีไฟล์ robots.txt ดังนั้น Yoast SEO จะสร้างไฟล์ robots.txt ให้คุณ.

สร้างไฟล์ robots.txt โดยใช้ Yoast SEO

ตามค่าเริ่มต้นเครื่องมือสร้างไฟล์ robots.txt ของ Yoast SEO จะเพิ่มกฎต่อไปนี้ในไฟล์ robots.txt ของคุณ:

ตัวแทนผู้ใช้: *
ไม่อนุญาต: /

มันคือ สิ่งสำคัญ คุณลบข้อความนี้เนื่องจากบล็อกเครื่องมือค้นหาทั้งหมดไม่ให้รวบรวมข้อมูลเว็บไซต์ของคุณ.

หลังจากลบข้อความเริ่มต้นคุณสามารถไปข้างหน้าและเพิ่มกฎ robots.txt ของคุณเอง เราขอแนะนำให้ใช้รูปแบบ robots.txt ในอุดมคติที่เราแบ่งปันไว้ด้านบน.

เมื่อเสร็จแล้วอย่าลืมคลิกปุ่ม ‘บันทึกไฟล์ robots.txt’ เพื่อบันทึกการเปลี่ยนแปลงของคุณ.

วิธีที่ 2 แก้ไขไฟล์ Robots.txt ด้วยตนเองโดยใช้ FTP

สำหรับวิธีนี้คุณจะต้องใช้ไคลเอนต์ FTP เพื่อแก้ไขไฟล์ robots.txt.

เพียงเชื่อมต่อกับบัญชีโฮสติ้ง WordPress ของคุณโดยใช้ไคลเอนต์ FTP.

เมื่อเข้าไปข้างในคุณจะสามารถเห็นไฟล์ robots.txt ในโฟลเดอร์รูทของเว็บไซต์.

การแก้ไขไฟล์ robots.txt WordPress โดยใช้ FTP

หากคุณไม่เห็นมันแสดงว่าคุณไม่มีไฟล์ robots.txt ในกรณีนี้คุณสามารถสร้างและสร้างใหม่ได้.

สร้างไฟล์ robots.txt โดยใช้ FTP

Robots.txt เป็นไฟล์ข้อความธรรมดาซึ่งหมายความว่าคุณสามารถดาวน์โหลดไปยังคอมพิวเตอร์ของคุณและแก้ไขโดยใช้โปรแกรมแก้ไขข้อความธรรมดา ๆ เช่น Notepad หรือ TextEdit.

หลังจากบันทึกการเปลี่ยนแปลงคุณสามารถอัปโหลดกลับไปยังโฟลเดอร์รูทของเว็บไซต์.

วิธีทดสอบไฟล์ Robots.txt ของคุณ?

เมื่อคุณสร้างไฟล์ robots.txt แล้วคุณควรทดสอบด้วยเครื่องมือทดสอบ robots.txt.

มีเครื่องมือทดสอบ robots.txt มากมายอยู่ แต่เราแนะนำให้ใช้เครื่องมือนี้ใน Google Search Console.

เพียงลงชื่อเข้าใช้บัญชี Google Search Console ของคุณจากนั้นเปลี่ยนเป็นเว็บไซต์คอนโซลการค้นหาของ Google เก่า.

เปลี่ยนเป็น Google Search Console รุ่นเก่า

สิ่งนี้จะนำคุณไปยังอินเทอร์เฟซคอนโซลการค้นหาของ Google แบบเก่า จากที่นี่คุณต้องเปิดเครื่องมือทดสอบ robots.txt ซึ่งอยู่ใต้เมนู “รวบรวมข้อมูล”.

เครื่องมือทดสอบ Robots.txt

เครื่องมือจะดึงไฟล์ robots.txt ของเว็บไซต์ของคุณโดยอัตโนมัติและเน้นข้อผิดพลาดและคำเตือนหากพบว่ามี.

ความคิดสุดท้าย

เป้าหมายของการเพิ่มประสิทธิภาพไฟล์ robots.txt ของคุณคือการป้องกันไม่ให้เครื่องมือค้นหารวบรวมข้อมูลหน้าเว็บที่ไม่สามารถใช้งานได้แบบสาธารณะ ตัวอย่างเช่นหน้าในโฟลเดอร์ wp-plugins ของคุณหรือหน้าในโฟลเดอร์ WordPress admin ของคุณ.

ความเชื่อที่พบบ่อยในหมู่ผู้เชี่ยวชาญ SEO คือการปิดกั้นหมวดหมู่แท็กและหน้าการเก็บถาวรของ WordPress จะปรับปรุงอัตราการรวบรวมข้อมูลและส่งผลให้การจัดทำดัชนีและอันดับที่สูงขึ้นเร็วขึ้น.

นี่ไม่เป็นความจริง. นอกจากนี้ยังเป็นไปตามหลักเกณฑ์สำหรับเว็บมาสเตอร์ของ Google.

เราขอแนะนำให้คุณทำตามรูปแบบ robots.txt ข้างต้นเพื่อสร้างไฟล์ robots.txt สำหรับเว็บไซต์ของคุณ.

เราหวังว่าบทความนี้จะช่วยให้คุณเรียนรู้วิธีเพิ่มประสิทธิภาพไฟล์ WordPress robots.txt ของคุณสำหรับ SEO คุณอาจต้องการดูคำแนะนำเกี่ยวกับ WordPress SEO ขั้นสูงสุดของเราและเครื่องมือ WordPress SEO ที่ดีที่สุดเพื่อสร้างเว็บไซต์ของคุณ.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me