SEO için WordPress Robots.txt Nasıl Optimize Edilir

Son zamanlarda okuyucularımızdan biri, SEO’yu geliştirmek için robots.txt dosyasını nasıl optimize edeceğimize dair ipuçları istedi. Robots.txt dosyası, arama motorlarına inanılmaz derecede güçlü bir SEO aracı yapan web sitenizi nasıl tarayacağını söyler. Bu makalede, SEO için mükemmel bir robots.txt dosyasının nasıl oluşturulacağını göstereceğiz.


SEO'yu geliştirmek için WordPress robots.txt dosyasını kullanma

Robots.txt dosyası nedir?

Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerindeki sayfaları nasıl tarayacaklarını ve dizine ekleyeceklerini söylemek için oluşturabilecekleri bir metin dosyasıdır.

Genellikle web sitenizin ana klasörü olarak da bilinen kök dizinde depolanır. Robots.txt dosyasının temel biçimi şuna benzer:

Kullanıcı-aracı: [kullanıcı-aracı adı]
İzin verme: [URL dizesi taranmayacak]

Kullanıcı-aracı: [kullanıcı-aracı adı]
İzin ver: [URL dizesi taranacak]

Site Haritası: [XML Site Haritanızın URL’si]

Belirli URL’lere izin vermek veya vermemek ve birden çok site haritası eklemek için birden fazla talimat satırınız olabilir. Bir URL’ye izin vermezseniz, arama motoru botları URL’yi taramalarına izin verildiğini varsayar.

Bir robots.txt örnek dosyası şöyle görünebilir:

Kullanıcı-Aracı: *
İzin ver: / wp-content / uploads /
İzin verme: / wp-content / plugins /
İzin verme: / wp-admin /

Site Haritası: https://example.com/sitemap_index.xml

Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yüklemeler klasöründeki dosyaları taramasına ve dizine eklemesine izin verdik.

Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasına ve dizine eklemesine izin verdik.

Son olarak, XML site haritanızın URL’sini sağladık.

WordPress Siteniz İçin Bir Robots.txt Dosyanıza mı İhtiyacınız Var??

Bir robots.txt dosyanız yoksa, arama motorları yine de web sitenizi tarar ve dizine ekler. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramaları gerektiğini söyleyemezsiniz.

Bir blog’a ilk başladığınızda ve çok fazla içeriğiniz olmadığında bunun bir etkisi olmayacaktır..

Ancak web siteniz büyüdükçe ve çok fazla içeriğiniz olduğunda, web sitenizin nasıl tarandığı ve dizine eklendiği konusunda daha iyi bir kontrole sahip olmak isteyebilirsiniz..

İşte nedeni.

Arama botlarında her web sitesi için bir tarama kotası bulunur.

Bu, bir tarama oturumu sırasında belirli sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı bitirmezlerse geri dönecek ve sonraki oturumda taramaya devam edecekler.

Bu, web sitesi dizine ekleme oranınızı yavaşlatabilir.

Arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları taramaya çalışmasına izin vermeyerek bunu düzeltebilirsiniz..

Gereksiz sayfaları devre dışı bırakarak tarama kotanızı kaydedersiniz. Bu, arama motorlarının sitenizdeki daha fazla sayfayı taramasına ve bunları olabildiğince çabuk dizine eklemesine yardımcı olur.

Robots.txt dosyasını kullanmanın bir başka iyi nedeni, arama motorlarının web sitenizdeki bir yayını veya sayfayı dizine eklemesini durdurmak istediğinizde.

İçeriği genel herkesten gizlemenin en güvenli yolu değildir, ancak arama sonuçlarında görünmelerini önlemenize yardımcı olacaktır..

İdeal Robots.txt dosyası neye benzemelidir?

Birçok popüler blog çok basit bir robots.txt dosyası kullanır. İçerikleri, belirli sitenin gereksinimlerine bağlı olarak değişebilir:

Kullanıcı aracısı: *
Disallow:

Site Haritası: http://www.example.com/post-sitemap.xml
Site Haritası: http://www.example.com/page-sitemap.xml

Bu robots.txt dosyası, tüm robotların tüm içeriği dizine eklemesine olanak tanır ve onlara web sitesinin XML site haritalarına bir bağlantı sağlar.

WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneririz:

Kullanıcı-Aracı: *
İzin ver: / wp-content / uploads /
İzin verme: / wp-content / plugins /
İzin verme: / wp-admin /
İzin verme: /readme.html
İzin verme: / refer /

Site Haritası: http://www.example.com/post-sitemap.xml
Site Haritası: http://www.example.com/page-sitemap.xml

Bu, arama botlarına tüm WordPress resimlerini ve dosyalarını endekslemelerini söyler. Arama botlarının WordPress eklenti dosyalarını, WordPress yönetici alanını, WordPress benioku dosyasını ve bağlı kuruluş bağlantılarını endekslemesine izin vermez.

Robots.txt dosyasına site haritaları ekleyerek Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.

Artık ideal bir robots.txt dosyasının nasıl göründüğünü bildiğinize göre, WordPress’de nasıl bir robots.txt dosyası oluşturabileceğinize bakalım.

WordPress’te Robots.txt Dosyası Nasıl Oluşturulur?

WordPress’te bir robots.txt dosyası oluşturmanın iki yolu vardır. Sizin için en uygun yöntemi seçebilirsiniz.

Yöntem 1: Yoast SEO Kullanarak Robots.txt Dosyasını Düzenleme

Yoast SEO eklentisini kullanıyorsanız, bir robots.txt dosya oluşturucu ile birlikte gelir.

Doğrudan WordPress yönetici alanınızdan bir robots.txt dosyası oluşturmak ve düzenlemek için kullanabilirsiniz.

Sadece SEO »Araçlar sayfanıza gidin ve Dosya Düzenleyici bağlantısını tıklayın.

Yoast SEO'da dosya düzenleyici aracı

Sonraki sayfada Yoast SEO sayfası mevcut robots.txt dosyanızı gösterecek.

Bir robots.txt dosyanız yoksa, Yoast SEO sizin için bir robots.txt dosyası oluşturur.

Yoast SEO'yu kullanarak robots.txt dosyası oluşturun

Varsayılan olarak, Yoast SEO’nun robots.txt dosya oluşturucu robots.txt dosyanıza aşağıdaki kuralları ekler:

Kullanıcı aracısı: *
İzin verme: /

Bu önemli tüm arama motorlarının web sitenizi taramasını engellediği için bu metni sildiğiniz.

Varsayılan metni sildikten sonra, devam edebilir ve kendi robots.txt kurallarınızı ekleyebilirsiniz. Yukarıda paylaştığımız ideal robots.txt biçimini kullanmanızı öneririz.

İşiniz bittiğinde, değişikliklerinizi saklamak için rob robots.txt dosyasını kaydet ’düğmesini tıklamayı unutmayın.

Yöntem 2. Robots.txt dosyasını FTP kullanarak el ile düzenleme

Bu yöntem için robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekir.

Bir FTP istemcisi kullanarak WordPress barındırma hesabınıza bağlanmanız yeterlidir.

İçeri girdikten sonra, web sitenizin kök klasöründe robots.txt dosyasını görebileceksiniz..

FTP kullanarak WordPress robots.txt dosyasını düzenleme

Birini görmüyorsanız, muhtemelen bir robots.txt dosyanız yok. Bu durumda, devam edip bir tane oluşturabilirsiniz.

FTP kullanarak robots.txt dosyası oluşturma

Robots.txt düz bir metin dosyasıdır, yani bilgisayarınıza indirebilir ve Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyicisi kullanarak düzenleyebilirsiniz.

Değişikliklerinizi kaydettikten sonra, web sitenizin kök klasörüne geri yükleyebilirsiniz.

Robots.txt Dosyanızı Test Etme?

Robots.txt dosyanızı oluşturduktan sonra, bir robots.txt test aracı kullanarak test etmek her zaman iyi bir fikirdir.

Orada birçok robots.txt test aracı var, ancak Google Arama Konsolu’nun içindeki aracı kullanmanızı öneririz.

Google Search Console hesabınıza giriş yapın ve ardından eski Google arama konsolu web sitesine geçin.

Eski Google Arama Konsolu'na geç

Bu sizi eski Google Search Console arayüzüne götürecektir. Buradan, ‘Tara’ menüsü altında bulunan robots.txt test aracını başlatmanız gerekir.

Robots.txt test aracı

Araç, web sitenizin robots.txt dosyasını otomatik olarak alır ve varsa hataları ve uyarıları vurgular.

Son düşünceler

Robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını önlemektir. Örneğin, wp-plugins klasörünüzdeki sayfalar veya WordPress yönetici klasörünüzdeki sayfalar.

SEO uzmanları arasında yaygın bir efsane, WordPress kategorisini, etiketlerini ve arşiv sayfalarını engellemenin tarama hızını artıracağı ve daha hızlı dizinleme ve daha yüksek sıralamalarla sonuçlanacağı.

Bu doğru değil. Google’ın web yöneticisi yönergelerine de aykırıdır.

Web siteniz için bir robots.txt dosyası oluşturmak için yukarıdaki robots.txt biçimini izlemenizi öneririz..

Bu makalenin, WordPress robots.txt dosyanızı SEO için nasıl optimize edeceğinizi öğrenmenize yardımcı olacağını umuyoruz. Ayrıca, web sitenizi büyütmek için nihai WordPress SEO kılavuzumuzu ve en iyi WordPress SEO araçlarımızı görmek isteyebilirsiniz..

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map