Kullanışsız Sayfaları Engelleme

“Arama motorlarından gelen kullanıcılar için çok fazla değer yaratmayan veya otomatik olarak oluşturulmuş sayfaların taranmasını önlemek için robots.txt kullanın.”

- Google web yöneticisi kuralları

Google'ı Engellemek

Web sitenizi daha üst sıraya taşıyabilmenizin bir yolu olarak sayfalarınızın bazıları için Googlebot’u engellemek biraz garip görünebilir; ancak bu yapılan bir şeydir.

Genellikle sitelerdeki arama sonucu sayfaları buna örnek olarak verilebilir. Birisi web sitenizi her aradığında bir arama sonuçları sayfası sağlanır. Bu sayfalar Google’dan engellenmezse, içerik sayfaları olmamalarına rağmen dizine eklenirler. İçerik değeri olmayan bu sayfalar, sıralamadaki iyi durumunuzu zayıflatabilir.

Örneğin yalnızca beş sayfa içeren bir web siteniz olduğunu ve bu haliyle kullanıcıların ihtiyaçlarını karşıladıklarını varsayalım. Herhangi bir kullanıcınız web sitenizde bir arama gerçekleştirdiğinde, yukarıda da bahsettiğimiz gibi bir arama sonucu sayfası oluşacaktır. Her kullanıcı için ayrı ayrı oluşan bu sayfalar Google’dan engellenmezse; beş sayfası olan web siteniz, Google açısından bin sayfalık bir web sitesi haline gelecektir.

Bu durum engellenmedikçe; Google konunuza odaklanan beş sayfalık bir web sitesi yerine; çok fazla gereksiz şeye odaklanan bin sayfalık bir web siteniz olduğunuzu düşünecek. Sonucunda da Google sitenizi çok değerli görmediğinden; daha düşük sıralamalara uygun görecek.

Bu durum da şunu gösteriyor ki; sitenizin Google için kaliteli beş sayfaya sahip olması, boş içerikli on bin sayfanın trafik çekmesinden daha iyidir.

Sitenizin her sayfası iyi olmalıdır. Sayfalarınız iyi bir içeriğe sahip olmayacaksa; sitenizde ya da Google’da yer almasının da bir anlamı yoktur.

Arama Sonucu Sayfaları Kimler İçin Faydalıdır?

Bir arama sonucu sayfası, arama yapan bir kişi için mükemmeldir. Ancak diğer kişiler için yararlı değildir. Bu nedenle, arama sonuçları Google’dan engellenmelidir. Sadece tek bir kişiye faydası olan bir sayfanın; arama motorları tarafından görülmesi büyük bir gereksizliktir.

Bloke Edilecek Sayfaları Belirleme

Arama sonucu sayfaları; birçok web sitesinde engellenecek tek sayfa tipi değildir. Çoğu zaman bir web sitesi; otomatik olarak oluşturulmuş ve ayrıca engellenmesi gereken sayfalara sahip olabilir.

Web siteleri benzersiz içerik sağlamadığı veya sağlayamadığı için Google’da kötü sıralamalarda çıkmaları sıklıkla görülen bir durumdur. Bu nedenle web sitelerinin birbirinin kopyası olan ve tamamen benzersiz olmayan sayfalarını engellemek mantıklıdır.

Engellenmesi gereken diğer bir özel içerik örneği; bağlı veri tabanı kaynaklarından veya sizin tarafınızdan gelmeyen ancak sizin için başka kaynaklardan elde edilen herhangi bir bilgiden oluşturulmuş olan sayfalardır.

Google yararlı içeriğe sahip olmayan sayfaları dizine eklerken veya sıralama yaparken; bu sayfaların hiçbir değerinin olmadığını görür. Kullanıcılar diğer web sayfalarıyla aynı bilgileri içeren sayfalara gitmekten nefret eder, bu nedenle Google da bu sayfalara olumsuz bakar.

Sayfaları Robots.txt Aracılığıyla Nasıl Engelleyebilirim?

Google web yöneticisi bize web sunucusundaki robots.txt dosyasının kullanılmasını söyler. Dosyayla sayfaları engellemek birkaç şekilde yapılabilir. Bir robots.txt dosyasının nasıl çalıştığını biliyorsanız izlemeniz gereken yol şudur;

• Klasörleri engelleme – İçeriği engellemenin en basit yolu klasöre göre engellemedir. Engellemek istediğiniz içeriğiniz varsa, bir klasöre yerleştirebilir ve tüm klasörü engelleyebilirsiniz. Örnek: Disallow: / searchresults /
• Joker karakterler – Engellenmesini istediğiniz arama sonuçlarınızın veya diğer içeriğinizin tümü dinamik olarak oluşturulmuşsa, sonuçlar “?” şeklinde bir soru işareti ile url’nizde yer alabilir. Web sitesinizin tamamı statik ama arama sonuçlarını veya araç sonuçlarını dinamik olarak sunuyorsanız; bu içeriği engellemenin kolay yolu joker karakter kullanmaktır. Örnek: Disallow: / *? *