Googlebot

Googlebot Nedir ve Ne İşe Yarar?

Googlebot, Google tarafından kullanılan web gezginidir. Web’in dört bir yanındaki sayfaları sürekli ziyaret eder, bağlantıları tarayıp listeleyerek web sayfalarının içeriğini (web sayfasını oluşturan kelimeler, kod ve kaynaklar) alır, alınan içerik başka şeylerle bağlantı içeriyorsa; bunlar da belirtilir ve ardından topladığı bilgileri arama dizinini güncellemesi için Google’a iletir.

Googlebot ve Web Siteniz

Dizinler, bot’un gönderdiği bilgiler doğrultusunda güncellenir. Google dizini, web sayfalarının karşılaştırıldığı ve sıralandığı yerdir. Web sayfalarınızın Google’da bulunabilmesi ve sıralamada optimal düzeye gelmeleri için, Googlebot tarafından görülebilir ve erişilebilir olmaları gerekir.

Googlebot ve Google Dizini Arasındaki Fark Nedir?

Google web gezginleri, webden yalnızca içeriği alarak erişebileceği başka bir içerik olup olmadığına bakar. Google dizini ise Googlebot’dan aldığı bilgileri sayfaları sıralamak için kullanır. Arama motorunda sıralamaya girmenin ilk adımı, web sitesi içeriğinin Googlebot tarafından görünmesi ve alınmasıdır.

Web Siteme Ait Sayfaların Google Dizininde Yer Alıp Almadığını Nasıl Öğrenebilirim?

Alan adınızın önüne “site:” koyarak, Google’ın siteniz içinden dizinine eklediği sayfaları listeleyebilirsiniz. “site:” ile alan adınızı arasında boşluk bırakmadan yazınız.
Örneğin: site: optimisthub.com
Sitenizde yer alan sayfa sayınızdan daha az sayıda sayfayı dizinde görüyorsanız; robots.txt dosyanız ile Googlebot’un sitenizi dizinlemesini engellemediğinizden emin olun.

Googlebot Bir Web Sayfasını "Nasıl Görür"?

Googlebot, web sayfalarının yalnızca tek tek bileşenlerini görür. Bot’lar tarafından ulaşılamayan içerikleriniz, Google dizininde yer almaz.
Bot’un sayfalarınızı görüyor olması, bu sayfaların içinde ne olduğunu tam olarak anladığı anlamına gelmez. Örneğin, bir web sitesi resim içeriyorsa Googlebot bunu göremez; yalnızca o resmi adlandıran kodu görebilir. Bu nedenle, dizin bu resmi içermeyebilir.

Bunlara ek olarak;

• Web sayfanızın kaynağı robots.txt tarafından engellenmiş ise,
• Sayfa bağlantılarınız okunamaz durumda ya da yanlış yapılandırılmış ise,
• Web siteniz gezginlerin sorun yaşayabileceği Flash veya diğer teknolojilerle üretilmiş ise,
• Kötü HTML kodları kullanılmış veya kodlama hataları mevcut ise,
• Karmaşık dinamik bağlantılar mevcut ise Googlebotlar web sayfanızın içeriğine erişemezler. Yukarıda belirttiğimiz durumların web siteniz için söz konusu olup olmadığını mevcut Google hesabınız aracılığı ile Google arama konsolunda bulunan “getir ve oluştur” aracını kullanarak kontrol edebilirsiniz. Bu araç, Google’ın web sayfanızı nasıl gördüğü ile ilgili size canlı bir örnek sağlar.

Googlebot Tüm Sayfa Kaynaklarına Erişebilir Mi?

CSS ve javascript dosyalarının robots.txt dosyanız tarafından engellenmesi durumunda, Googlebot web sayfanızın içeriğini yanlış anlayabilir. Bu durum sitenizin içeriğini eksik anlamasından çok daha kötüdür.
Örneğin, farklı cihazlarda farklı bir görünüm sunmak için CSS ve Javascript kullanan bir sayfayı ele alalım. Googlebot, o sayfanın CSS veya Javascript’ine erişemezse o sayfanın mobil olabileceğini fark edemeyebilir.

Googlebot’u Kontrol Edebilir Miyim?

Evet Googlebot'u takip edebilirsiniz.

Googlebot’u Kontrol Etmenin Yolları Nelerdir?

• Bir robots.txt dosyası kullanarak (en yaygın kullanılan yöntem),
• Web sayfalarının meta verilerine robot talimatları ekleyerek,
• Başlıklarınıza robot talimatları ekleyerek,
• Site haritalarını kullanarak,
• Google arama konsolunu kullanarak Googlebot’u kontrol edebilirsiniz.

Robots.txt Dosyası Nedir?

Robots.txt dosyası; arama motoru örümceklerinin web sayfalarınızı nasıl gördüğünü ve sayfalarınızla nasıl etkileşimde bulunduğunu denetler. Kısacası, bir robots.txt dosyası, Googlebot’a, erişilmesini istemediğiniz dosyaları ve klasörleri listeleyerek, bot’lara sayfanızı ziyaret ettiğinde ne yapması gerektiğini söyler.

Site Haritası ve Googlebot

Site haritaları, bot’ların web sitenizi anlamasına yardımcı olabilecek önemli bir bileşendir.
Google ve diğer arama motorlarına sitenizin içeriğinin organizasyonu hakkında bilgi vermek için, sitenizin web sayfalarını listeleyebileceğiniz bir dosyadır. Googlebot’un web sayfalarınızı ziyaret ederken rehber olarak kullanabileceği URL’lerin ve diğer verilerin bir listesini içerir. Yani, sitenizi daha akıllıca taramak için bu dosyayı okur.

Web siteniz;

• Gerçekten büyük ise,
• İzole edilmiş veya birbirine iyi bağlı olmayan geniş bir içerik sayfasına sahipse,
• Yeni bir site ise ve bununla ilgili az sayıda harici bağlantı içeriyor ise,
• Zengin medya içeriği kullanıyor, Google Haberler’de gösteriliyor veya diğer site haritalarına uyumlu ek açıklamalar kullanıyor ise; mutlaka bir site haritasına ihtiyacınız var demektir.

Googlebot ve Google Arama Konsolu

Googlebot’u kontrol edebileceğiniz bir diğer yer de Google arama konsoludur. Googlebot, web sunucunuza çok sık erişiyorsa, tarama oranını değiştirebilirsiniz.
Ayrıca, Googlebot’un web sitenize erişme biçimi, robots.txt dosyanızı test etme, Googlebot tarama hatalarını görme ve Google’ın web sayfalarınızı nasıl gördüğünü anlamanıza yardımcı olacak “getirme ve oluşturma” isteklerini gerçekleştirme hakkında genel bir bilgi edinebilirsiniz.

Kaç Googlebot / Google Web Gezgini Vardır?

Dokuz farklı Google web gezgini türü vardır.

• Googlebot (Google Web araması)
• Google Smartphone
• Google Mobile (telefon için özel)
• Googlebot Resimler
• Googlebot Video
• Googlebot Haberler
• Google Adsense
• Google Mobil Adsense
• Google Adsbot (açılış sayfası kalite kontrolü)

Googlebot ve Diller / Yerler

Eğer web sayfalarınız, arama motorunun kullanıldığı lokasyon ve dile bağlı olarak farklı dil ve içerik sergiliyorsa, Googlebot her zaman tüm içeriğinizi göremeyebilir. (Bu durumda hreflang kullanılması önerilir.)
Kullanıcılar sayfanızı ziyaret ettiğinde farklı içeriğe yönelik bir lokasyon veya dil tabanlı bir çözümünüz varsa; İtalya’daki bir kullanıcı İtalyanca içeriği görecek, Amerika’daki bir kullanıcı ise İngilizce içeriği görecektir.

Googlebot Tarafından Yerel Ayarlara Göre Tarama Yapma

Googlebot, yerel bilgilere dayalı tarama oluşturmak için aşağıda belirttiğimiz iki temel tekniği kullanır:

• Coğrafi olarak dağıtılmış tarama: Googlebot; ABD dışında bulunan, Googlebot’un ABD merkezli olduğu varsayılan uzun IP adreslerini ek olarak kullanır.
• Dil bağımlı tarama: Googlebot, HTTP üstbilgisinde ayarlanmış bir Accept-Language alanıyla tarama yapar.