Dört aşama ve bu ayrımın neden önemli olduğu
Bir arama motoru bir sayfayla dört ayrı aşamada çalışır; bir aşama başarılı olurken sonraki başarısız olabilir. Keşif URL'yi bilinir hâle getirir. Tarama sayfayı getirir. Dizine ekleme, sayfanın saklanıp saklanmayacağına karar verir. Sıralama ise her sorgu için gösterilip gösterilmeyeceğini belirler. Google'ın yapay zeka özellikleri Arama'nın parçasıdır ve erişim ilgili aramalara yayılsa bile aynı tarama, dizine ekleme ve uygunluk temellerine dayanır.
«Sayfam neden görünmüyor» diye başlayan hemen her soru, aslında hangi aşamada durduğu sorusudur. Yanıt, bundan sonra yapacağınız şeyi tümüyle değiştirir; üstelik aşamalar dışarıdan aynı görünen biçimlerde başarısız olur: eksik bir sayfa sonuçlarda birebir aynı görünür — hiç keşfedilmemiş olsun, getirilirken engellenmiş olsun, saklanmaya değmez bulunmuş olsun ya da saklanıp yalnızca geçilmiş olsun.
| Aşama | Ne olur | Nasıl aksar |
|---|---|---|
| Keşif | Adres bilinir hâle gelir — bağlantı ya da site haritasıyla | Sayfaya hiçbir şey bağlantı vermez, hiçbir harita onu listelemez |
| Tarama | Adres getirilir ve tarayıcıdaki gibi işlenir | robots.txt izni geri çeker ya da sunucu hata döndürür |
| Dizine ekleme | Motor sayfayı saklayıp saklamayacağına karar verir | İçerik kopya, yüzeysel ya da saklanmaya değmez bulunur |
| Sıralama | Saklanan sayfalar amaca göre puanlanır | Sayfa saklanmıştır ama daha iyi bir yanıt vardır |
Keşif: bir adres nasıl bilinir hâle gelir
Google, her gün bulduğu yeni sayfaların ezici çoğunluğunun bağlantılarla geldiğini belirtiyor. Sayfalarınızdan birini zaten getiren bir tarayıcı, işaretlemesindeki adresleri çıkarır ve sıraya alır. Bu, iç bağlantıyı her sitede birincil keşif mekanizması yapar — sonradan eklenen bir iyileştirme değil.
Site haritaları ikincil yoldur. En çok bağlantının en zayıf olduğu yerde işe yarar: çok büyük siteler, az bağlantı alan yepyeni siteler ve doğal bağlantı metni bulunmayan, medya yüklü siteler. Google açıkça söylüyor: bir adresi listelemek ne taramayı ne de dizine eklenmeyi garanti eder — değerlendirilmek üzere sunulan bir öneridir, işlenecek bir kuyruk değil.
Pratik sonuç şu: hiçbir şeyin bağlantı vermediği bir sayfa, iki mekanizmanın zayıf olanına yaslanır. Site haritası kaydı bağlam taşımaz; bir adresin var olduğunu söyler, ama sayfanın ne işe yaradığı ya da diğerleriyle nasıl ilişkilendiği hakkında hiçbir şey söylemez. Bir bağlantı ikisini de taşır: konumuyla ve bağlantı metniyle.
Tarama: izin, kapasite ve talep
Taramayı, Google'ın ayrı ayrı adlandırdığı iki şey sınırlar. Tarama kapasitesi sınırı, sunucunuzu zorlamadan açacağı eşzamanlı bağlantı sayısıdır; yanıt sürelerinize ve hata oranlarınıza göre kendini ayarlar. Tarama talebi ise gerçekte ne kadar getirmek istediğidir — site boyutu, güncelleme sıklığı ve kalite değerlendirmesi belirler.
Google'ın kendi yönlendirmesi, çoğu sitenin bunu hiç düşünmemesi gerektiğidir. Tarama bütçesi ancak haftalık güncellenen bir milyon sayfanın, günlük değişen on bin sayfanın üzerinde ya da adreslerinin büyük bölümü «Bulundu – şu anda dizine eklenmedi» durumunda takılı kalan sitelerde gerçek bir konu olur. Bunun altında yavaş tarama neredeyse her zaman başka bir şeyin belirtisidir.
Geçerli olduğu yerde kollar gösterişsizdir: kopyaları birleştirin, kalıcı olarak kaldırılanlar için yumuşak 404 yerine gerçek 404 ya da 410 döndürün, yönlendirme zincirlerini kısaltın, sunucu yanıt süresini iyileştirin ve değişmemiş sayfalara ucuza yanıt verebilmek için koşullu istekleri destekleyin. Bu listede neyin eksik olduğuna dikkat edin: noindex bir tarama bütçesi aracı değildir, çünkü tarayıcının yönergeyi okuyabilmesi için sayfayı getirmesi gerekir.
İşleme: unutulan aşama
Getirme ile dizine ekleme arasında işleme vardır. Motor sayfayı aşağı yukarı bir tarayıcının yapacağı gibi çalıştırır, sonra işlenmiş çıktının içerdiğini dizine ekler. Yalnızca JavaScript çalıştıktan sonra beliren içerik de bu yüzden dizine girebilir — ama bu, o çalışmanın başarılı olmasına ve gereken kaynakların taranabilir olmasına bağlıdır.
Bir robots.txt kuralının, yazıldığı yerden çok uzakta hasar verdiği nokta burasıdır. Bir betik ya da API yolunu engellemek, tarayıcının tam da sayfanın içeriğini kurduğu dosyaları getirmesini önler. HTML sorunsuz gelir, neredeyse boş işlenir ve neredeyse boş dizine eklenir. Hiçbir durum «engellendi» demeyecektir — sayfanın kendisi hiç engellenmemişti.
Dizine ekleme bir yargıdır, kuyruk değil
Tüm zincirin en yaygın yanlış okuması, dizine eklemeyi sıraya girmek gibi görmektir: taranırsın, sıranı beklersin, dizine girersin. İşleyiş böyle değil. İşlemeden sonra motor sayfanın saklanmaya değip değmediğine karar verir ve o karar hayır olabilir.
Search Console'un «Tarandı – şu anda dizine eklenmedi» ile kastettiği tam olarak budur. Bozuk bir şey yok, engelleyen bir şey yok, getirme başarılı oldu. Sayfa değerlendirildi ve bir kenara konuldu. Bir şablondan üretilmiş, yalnızca yerine konan bir ad ya da sayıyla ayrışan neredeyse aynı sayfalar bunun olağan nedenidir; yeniden göndermek hiçbir şeyi değiştirmez, çünkü o kararın dayandığı girdi değişmemiştir.
Sıralama ve Google'ın yapay zeka özellikleri aynı temelleri paylaşıyor
Belirli bir sorgu için Google Arama ilgili materyali getirir ve sıralar. AI Overviews ve AI Mode da query fan-out kullanarak, destekleyici bağlantılar içeren bir yanıt oluşturmadan önce alt konular ve veri kaynakları boyunca birden fazla ilgili arama çalıştırabilir.
Sonuç basittir: Google'ın Yapay Zeka Arama özelliklerinde görünürlük hâlâ sıradan Arama uygunluğuna bağlıdır. Google, herhangi bir ek teknik gereksinim veya özel yapay zeka işaretlemesi olmadığını söylüyor; taramaya izin verilmeli, önemli içerik dizine eklenebilir ve metin olarak mevcut olmalıdır ve nosnippet gibi önizleme kontrolleri, AI özelliklerinde görünenleri sınırlayabilir.