Tarama bütçesi (crawl budget), bir arama motorunun belirli bir zaman zarfında bir web sitesinde tarayabildiği azami sayfa sayısını ifade eder. Dijital dünyada milyarı aşan sayıda web sitesi ve web sayfası mevcut. Arama motorları, bir milyardan fazla sayıya ulaşan web sitelerini tarama sürecinde kaynaklarını optimum ve verimli şekilde kullanabilmek için belirli kısıtlamalara/limitlere gider. Arama motorlarının çeşitli faktörlere bağlı tarama limitleri belirlemesi, bu faaliyetin tarama “bütçesi” olarak adlandırılmasının temel nedenidir.
Tarama bütçesini etkileyen birçok parametre vardır. Bunlar; sitenin teknik alt yapı sağlığı, yayınlanan içeriklerin kalitesi, sunucu sağlığı vs. şeklinde ifade edilebilir. Tarama bütçesi, bir web sitenin genel sağlığına – sunucu sağlığı da dahil – paralel olarak artış veya düşüş gösterebilir. Ancak, ifade ettiğimiz faktörlere bağlı olarak değişiklik gösterse de tarama bütçesi genellikle stabil bir değişim grafiğine sahiptir. Bu grafiğin olumlu yönde seyretmesi içinse, tarama bütçesi optimizasyon çalışmaları yapılır.
Tarama bütçesinde ani düşüş yaşanması, özellikle gün içinde hayli yüksek sayıda içerik paylaşımı yapan web siteleri olmak üzere, web sitelerin tamamında indekslenme açısından negatif etkide bulunacaktır. Web sitenize ait tarama bütçenizin paylaşım sıklığınıza, paylaşım sayınıza paralel şekilde artış göstermemesi halinde, web sitenizin eski sayfalarında yapacağınız güncellemelerin görüntülenmesi, yeni paylaştığınız içeriklerin taranıp dizine eklenmesi vs. süreçlerde aksamalar, çeşitli sorunlar yaşanabilir.
Tarama bütçesinin (crawl budget) optimize edilmemesi halinde, bilhassa web siteleri için organik trafik ve etkileşim elde etmeni en mühim koşulu olan indekslenme süreci aksayacağı için trafik elde etme sürecinde çok ciddi zaman ve performans kaybı yaşanır. Arama motorları açısından başarılı bir web sitenin gün içinde on bin sayfası taranabilirken, ortalamanın üzerinde sayıda hatası bulunan, tarama bütçesi tükenmiş yahut son derece kısıtlı seviyede bulunan bir web sitenin on sayfası taranabilir.
Tarama bütçesi (crawl budget) kavramının net bir biçimde anlaşılabilmesi için “tarama” gibi bazı kavramların dijital literatürde ne anlama geldiğinin ifade edilmesi isabetli olacaktır. Tarama; yayınlanmış bir web sitesinin ziyaret edilmesi, incelenmesi, görüntülenmesi sürecinin tamamına verilen isimdir. Tarama kavramı, esasında birçok farklı işlemi ifade etmek için kullanılmaktadır. Ancak, tarama denildiği takdirde, öncelikle bir web sitesinde kullanıcılara sunulan sayfaların, yani URL’lerin ziyaret edilerek kontrol edilmesi işlemi/süreci akla gelir.
Tarayıcı (web crawler); web sitelerin sayfalarını (URL) kontrol etmek, incelemek için web siteyi ziyaret eden arama motoru botları, bir diğer adıyla arama motoru örümcekleridir. Ziyaretçilerin yararlanması için yayınlanan web sayfalarının keşfedilmesi, incelenmesi ve değerlendirilmesi işlemini gerçekleştiren arama motoru botlarının bu işlemine tarayıcı adı verilir. Bu işlem sayesinde ilgili sayfanın taranması ve sayfaya ilişkin alakalı bilgilerin arama motoruna eklenmesi sağlanır.
Tarama hızı (crawl rate), arama motoru borlarının bir web sitesini taramak için istekte bulunma sayısını ifade eder; söz gelimi, saniyede 5 istek. Çeşitli parametrelere göre değişmekle beraber, arama motoru botlarının bir web sitesini tarama amacıyla gönderdiği istek sayısı ve istekler arası süre, ilgili web sitesinin genel sağlık durumundan etkilenir. Dolayısıyla, genel sağlık durumu yeterli olmayan bir web siteye yönelik arama motoru botları tarafından gönderilen istek sayısında ve hızında düşme görülebilir.
Arama motoru botlarının bir web sitesinin sayfalarını ne kadar taramak istediğine tarama talebi (crawl demand) adı verilir. Tarama talebindeki sayıca azalma, ilgili web sitesine dair her zaman bir soruna işaret etmez. Web sitede yayınlanan içeriklerin güncelliğini kaybetmesi, içeriklerin popülerliği, paylaşım sıklığı gibi faktörler, bir web sitesinin teknik yönden herhangi bir sorunu olmayan tarama bütçesini, tarama talebi sayısının azalması sonucu etkileyebilir.
Tarama talebi sayısındaki azalmanın birçok farklı nedeni olabilir. Söz gelimi; bir web sitesinde bulunan içeriklerin dizine eklenmesine gerek görülmeyen veya içeriklerin dizinde güncellemeye gereksinim duyulmayan haller, tarama talebi sayısında azalmaya neden olan faktörlere örnek verilebilir. Öte yandan, ilgili sitede paylaşılan içerik sayısı ve içerik sıklığında artış ya da düşüş, içeriklerin belirli zaman aralıklarında paylaşılması ya da düzensiz paylaşılması gibi haller de tarama talebi sayısında değişikliğe neden olabilir.
Google’ın bir web sitesine verdiği önem; ilgili web sitesinde paylaşılan içeriklerin kalitesi, site sayfa sayısı, site boyutu, otoritesi ve backlink kalitesi gibi farklı parametrelere göre değişmektedir. Google tarafından web sitesine verilen öneme göre Google botları görevlendirilir ve ilgili web sitenin daha sık taranması, dolayısıyla ilgili web sitesine daha fazla zaman ayırılması sağlanır. Tarama bütçesinin belirli bir değerin altına düşmesi; ilgili web sitesindeki indekslerin güncelliğini yitirmesine ve sayfa değerlerinin azalmasına neden olur.
Bir web sitesine ait tarama bütçesi hesaplanırken takip edilmesi gereken adımlar şunlardır:
Sıralanan adımları takip ederek hesapladığınız tarama bütçesinin on ya da daha üzeri bir değere sahip olması durumunda, web sitenize ilişkin ciddi bir optimizasyon çalışması yapmanız gerekir. Tarama bütçesi değerinin üç ya da daha az olması halinde, ilgili web sitesinin tarama bütçesi noktasında son derece sağlıklı olduğu, görünür herhangi bir sorunu olmadığı anlamına gelir. Tarama bütçesi hesabını izah ettikten sonra, tarama bütçesini önemli kılan faktörleri paylaşmak, konu bütünlüğü açısından en doğru yaklaşım olacaktır.
Optimum tarama bütçesi, bir web sitesi için en önemli husus olan SEO başarısını etkileyen başlıca faktörlerdendir. Tarama bütçesinin negatif yönde etkilenmesi ve zamanla tükenmesi, ilgili web sitesinin indekslenme problemi yaşamasına neden olur. Bu itibarla tarama bütçesi, web sitenin genel sağlığını etkileyen önemli bir parametredir. Web site altyapısında teknik sorunlar olması, kopya içerik yayınlanması, yönlendirme eklenmemiş http 404 linkleri gibi birçok sorun, tarama bütçesinin tükenmesine neden olur.
Google, Yandex ve diğer arama motorlarının botları herhangi bir web sitesinin site sayfalarını tararken negatif bir durumla karşılaşmaması, arama motoru örümceklerinin problemsiz bir şekilde sayfaları görüntüleyebilmesi noktasında son derece önemli olan artan tarama bütçesi; web site üzerinde gerçekleştirilen güncellemelerin ve değişikliklerin arama motoru botları tarafından takip edilebilmesini ve bu sayede arama motoru sonuç sayfalarında daha başarılı sıralarda konumlanmasını sağlar.
Tarama bütçesi üzerinde olumlu – olumsuz etkileri bulunan birçok faktör mevcuttur. Arama motorlarının her geçen gün geliştirip güçlendirdikleri algoritmalar; yayınlanan içeriklerin nitelik açısından değerlendirilerek zayıf içeriklerin arama sonuç sayfasında görüntülenmemesini, bu sayede kullanıcı deneyiminin artırılmasını sağlar. Dolayısıyla, tarama bütçelerinin sağlıklı düzeylerde tutulabilmesi için benzersiz ve nitelikli içerikler yayınlamak çok önemlidir. İçerik kalitesinin yanı sıra, tarama bütçesini etkileyen diğer faktörler şu şekilde sıralanabilir:
Tarama bütçesi optimizasyonu, bir üst başlıkta sıralanan faktörlerin tamamında dikkat ederek, söz konusu faktörler üzerinde iyileştirme çalışmaları yaparak sağlanır. İşbu faktörlerin yanı sıra, tarama bütçesi optimizasyonunu sağlamak için aşağıda ifade edilen yönergeyi takip edebilirsiniz:
