Crawl budget, arama motoru botunun belirli bir süre içinde sitenizde gezinmek için harcamaya hazır olduğu kaynak miktarıdır. Bu kavram çoğu SEO anlatısında sanki yalnızca dev sitelerin, milyonlarca URL barındıran platformların sorunu gibi konumlandırılır. Oysa bu yaklaşım yarım doğrudur. Bütçe problemi, URL sayısının büyüklüğünden değil; sitenizin botun dikkatini yararlı sayfalara yönlendirip yönlendirememesinden doğar. Yüz bin sayfalık bir sitede bütçe sıkıntısı hiç yaşanmayabilir; buna karşılık dört bin sayfalık küçük bir e-ticaret sitesinde ciddi tarama verimsizliği olabilir. Ayrım, sayıda değil yapıdadır.
Kavramı basitleştirirken de aşırıya kaçmamak gerekir. Crawl budget yönetimi, bota hangi sayfaları gezip hangilerini atlayacağını dikte etmek değildir. Bot kendi kararlarını verir; yapabileceğiniz şey ona daha net sinyal vermek, dikkatini dağıtacak URL gürültüsünü azaltmak ve değerli sayfaların erişilebilirliğini güçlendirmektir. Bu ayrımı erkenden kurmak, konu etrafında dönen çoğu uygulama hatasını önler.
Crawl budget kavramında neyi çoğu kişi yanlış anlıyor
İlk yaygın yanılgı, bütçenin sabit bir sayı olduğu düşüncesidir. Google'ın siteni tarayabileceği günlük URL sayısını belirleyen tek bir eşik yok. Botun harcadığı kapasite, sitenin sunucu yanıt süresine, hata oranlarına, iç link yoğunluğuna, geçmiş tarama deneyimine ve sitenin genel otoritesine göre dinamik biçimde şekillenir. Sunucu yavaş yanıt verirse bot aynı süre içinde daha az sayfa tarar. İyileştirdiğinizde aynı sürede daha fazlasını tarayabilir. Yani bütçe üzerinde doğrudan kontrol değil, dolaylı etki söz konusudur.
İkinci yanılgı, crawl budget ile indeksleme kapsamının eş anlama geldiğidir. Bir sayfa taranmış olmak zorunda değildir ki indekslenmiş olsun; ve taranmış her sayfa indekse alınmaz. Bot bir URL'ye istek atar, içeriği okur, ama sonrasında o sayfayı değersiz bulursa, zaten indekslenmiş başka bir sürümü varsa ya da zayıf sinyal taşıdığını düşünürse sonuçlarda tutmayabilir. Bu iki aşamayı birbirine karıştırmak, hem tarama hem indeksleme sorunlarını yanlış çözümlere götürür. Taranabilirlik ve indekslenme problemleri teknik olarak birbiriyle bağlantılıdır ama ayrı okunmak zorundadır.
Üçüncü yanılgı ise crawl budget yönetiminin yalnızca robots.txt ile yapıldığı inancıdır. Disallow kuralları bota belirli yollardan uzak durmasını söyler ama bu kural botun kapasitesini iyi URL'lere aktarmak için yeterli değildir. Yapının kendisi, iç link akışı, URL üretme mantığı ve sunucu davranışı çoğu zaman robots.txt'ten çok daha belirleyicidir.
Hangi durumlarda crawl bütçesi gerçek sorun haline gelir
Küçük, düzenli ve temiz yapılı sitelerde crawl budget nadiren öncelikli sorun olur. Bot siteyi kısa sürede dolaşır, değerli sayfaları bulur, düzenli aralıklarla geri döner. Sorun genellikle şu yapısal koşullarda belirginleşir: site binlerce URL barındırıyor ama bunların önemli bir kısmı tekrarlı, parametre bazlı ya da düşük değerli URL'lerden oluşuyorsa; site büyük bir yeniden yapılanma geçirmişse ve eski URL izleri temizlenmemişse; ya da tarama sırasında bot sık sık hata yanıtı alıyorsa. Bu üç koşul ayrı ayrı da sorun üretir, birleşince ise bütçe verimsizliği belirgin hale gelir.
E-ticaret siteleri bu açıdan özellikle dikkat gerektirir. Filtreleme parametreleri, sıralama seçenekleri, oturum kimlikleri ve kampanya etiketleri son derece hızlı URL çoğalması üretir. Aynı ürün sayfası yüzlerce farklı parametre kombinasyonuyla erişilebilir hale gelebilir. Bot bu URL'lerin her birini ayrı adres olarak görebilir ve kapasitesinin büyük bölümünü tekrarlı içerik tarayarak harcayabilir. Bu sırada gerçekten indekslenmesi gereken ürün detay sayfaları, kategori sayfaları ve blog içerikleri sıralarını bekler.
Yeni sayfa yayınlandığında arama sonuçlarında görünmesi normalden uzun süriyor, içerik güncellemeleri taramaya yansımıyor ya da Search Console kapsam raporunda beklenmedik URL kümeleri beliriyorsa, bunlar crawl bütçesine yakından bakmak için sinyal sayılabilir. Tek başına kesin teşhis değil ama soruşturmayı başlatmak için yeterli göstergeler bunlardır.
Bütçeyi boşa harcatan teknik durumlar
Tarama kapasitesini en sık tüketen teknik durumların başında parametre kirliliği gelir. URL'deki `?sort=price`, `?color=red&size=m` veya `?ref=campaign_12` gibi parametreler genellikle aynı içeriği farklı adresle sunar. Canonical etiketiyle bunları yönetmek bir çözüm olsa da canonical'ın botun tarama kararını etkilemediğini hatırlatmak gerekir; canonical indeksleme kararını etkiler, taramayı tamamen durdurmaz. Parametreli URL'lerin Search Console'daki URL parametreleri aracıyla veya robots.txt ile kısıtlanması tarama verimliliğini artırabilir.
Kırık linkler de tarama bütçesi için sessiz bir yük oluşturur. Bot bir iç linkten `404` yanıtı alan URL'ye gider, boş döner. Aynı URL başka yerden de bağlantı almışsa tekrar deneyebilir. Yüzlerce `404` döndüren iç bağlantı, botun zaten kısıtlı olan kapasitesini hiçbir işe yaramayan isteklerle doldurur. Kırık bağlantı analizi bu nedenle yalnızca kullanıcı deneyimi sorunu olarak değil, tarama verimliliği sorunu olarak da okunmalıdır.
Yavaş sunucu yanıtları da bütçeyi doğrudan etkiler. Bot bir sayfanın cevap vermesini beklerken diğer sayfalara geçemez. Sunucu yanıt süresi genellikle `200 ms` altında tutulması hedeflenen bir eşiktir; sürekli `500-800 ms` arası yanıt veren bir sunucu, aynı tarama penceresinde botun gidebildiği URL sayısını belirgin biçimde azaltır. Site hızı analizi yalnızca kullanıcı metriği değil, bot yanıt süresi açısından da değerlendirilmesi gereken bir tablodur.
Redirect zincirleri de bütçe kaybına yol açar. Bir bot `A URL`'sine gider, `301` ile `B`'ye yönlendirilir, oradan `C`'ye gider. Üç adımda bir URL taranmış olur. Zincirler uzadıkça kaynak maliyeti büyür. Doğrudan hedefe giden yönlendirmeler hem kullanıcı hem bot tarafında daha verimlidir.
Log analizi yokken crawl sinyallerini okumak
Sunucu loglarına erişim her zaman mümkün değildir. Özellikle paylaşımlı hosting ortamları veya log erişimi olmayan platformlarda çalışan site sahipleri, botun gerçekte ne yaptığını doğrudan göremez. Ama dolaylı sinyallerden okuma yapmak mümkündür.
Search Console'un kapsam raporu önemli ipuçları taşır. Hangi URL'lerin keşfedildiği ama taranmadığı, hangilerinin tarandığı ama indekslenmediği bu raporda ayrıştırılabilir. Özellikle "keşfedildi, şu an dizine alınmadı" statüsündeki URL yığını büyükse, bu durum genellikle botun kapasitesini o sayfalara yöneltmediğini işaret eder. Sıraya alınan ama beklemede kalan sayfalar, tarama verimliliğinin sorunlu olduğunun dolaylı göstergesidir.
Teknik tarama araçlarıyla yürütülen site crawl'ları da önemli bir dolaylı kaynak sağlar. Bot olmak yerine botun gördüğüne yakın bir şekilde siteyi gezmek, kaç URL oluştuğunu, URL derinliklerini, iç link dağılımını ve hangi şablonların ne kadar URL ürettiğini ortaya koyar. Bu aşamada teknik öncelikleri belirlemek için hangi şablon ya da sayfa tipinin önce ele alınması gerektiğini görmek zaman kazandırır.
Google Search Console'daki indeksleme eğilimlerini zaman içinde izlemek de önemli bir sinyal sağlar. Yeni içerik yayınlandıkça indekslenme süresi uzuyorsa, eski URL'lerin yeniden taranma aralığı açılıyorsa ya da toplu yayın sonrası bazı önemli sayfaların görünmez hale geliyorsa, bunlar crawl bütçesiyle ilgili olabilir. Kesin teşhis için log şart olsa da bu sinyaller analizi doğru yöne çeker.
Crawl bütçesini daha verimli kullanmak için uygulanabilir adımlar
Önce temizlemek, sonra optimize etmek gerekir. Bütçeyi iyileştirmenin en doğrudan yolu, botun değersiz URL'lere harcadığı kapasiteyi azaltmaktır. Bunun için öncelik sırası genellikle şöyle kurulur: parametre bazlı URL'leri tanımla ve yönet; sonsuz URL üreten arama, filtre veya oturum mekanizmalarını kontrol et; kırık iç linkleri temizle; gereksiz yönlendirme zincirlerini kısalt.
İç link yapısı da bütçe açısından belirleyici bir rol oynar. Bot, iç linklerle keşfeder. Değerli sayfalar çok sayıda iç linkle destekleniyorsa bot onlara daha sık döner. Hiçbir yerden link almayan yetim sayfalar ya çok geç keşfedilir ya da hiç taranmaz. Teknik SEO analizinin şablon bazlı kapsam kontrolü bölümü tam burada devreye girer: her şablon türünden örnek URL alıp iç link derinliğini ve destek yapısını kontrol etmek, hangi sayfa grubunun bot tarafından görmezden gelindiğini hızlı biçimde ortaya koyar.
Sitemap yönetimi de önemlidir. Sitemap yalnızca botun keşfetmesini istediğiniz, indekslenmiş ya da indekslenmesini beklediğiniz URL'leri içermelidir. `404` döndüren, `noindex` taşıyan ya da `301` ile başka yere yönlendiren URL'lerin sitemap'te bulunması bota çelişkili sinyal gönderir. Temiz sitemap hem tarama verimliliğini artırır hem de botun güven modelini olumlu etkiler.
Son olarak sunucu kapasitesini ve yanıt sürelerini gözetmek gerekir. Bot, yavaş yanıt veren bir sunucuya baskı uygulamaktan kaçınır; tarama hızını düşürür. Bu durum bütçe kaybı değil, bütçe kullanım hızının azalması anlamına gelir. Sunucu yanıt süresi iyileştiğinde bot aynı zaman diliminde daha fazla URL tarayabilir hale gelir.
Crawl budget analizi çoğu zaman dramatik bir sonuç değil, kümülatif bir etki üretir. Tek bir düzeltme hemen göze çarpmayabilir; ama parametre temizliği, kırık link giderimi, sitemap düzeltmesi ve iç link güçlendirmesi birlikte uygulandığında zamanla tarama kapasitesinin daha değerli sayfalara aktığı görülür. Sorunun nerede başladığını doğru adlandırmak bu süreçte hem gereksiz eforu önler hem de doğru önceliklendirmeyi mümkün kılar. Crawl bütçesi yönetimi bir kez yapılıp bırakılan değil, site büyüdükçe ve değiştikçe yeniden kontrol edilmesi gereken süregelen bir teknik disiplindir.