Googlebot Crawl Rate Limit · Host Load · Taranabilirlik Teşhisi

Tarama Bütçenizi ve Bot Verimliliğinizi Test Edin.

Q: Tarama Bütçesi (Crawl Budget) nedir ve hangi siteler için kritiktir?

Tarama bütçesi, arama motoru botlarının (özellikle Googlebot) sunucunuza aşırı yük bindirmeden belirli bir zaman diliminde sitenizden indirebileceği ve dizine ekleyebileceği maksimum sayfa sayısıdır. 10.000'den fazla URL'e sahip e-ticaret siteleri, sık güncellenen haber portalları ve filtreli navigasyon kullanan platformlar için tarama bütçesi optimizasyonu doğrudan organik ciro ve indekslenme hızını belirler.

Q: Googlebot Tarama Hızı Sınırı (Crawl Rate Limit) ile Tarama Talebi (Crawl Demand) arasındaki fark nedir?

Tarama Hızı Sınırı (Crawl Rate Limit), sunucunuzun çökmesini önlemek amacıyla Googlebot'un eşzamanlı bağlantı ve istek sayısına koyduğu güvenlik tavanıdır (sunucu TTFB ve 5xx hatalarına bağlıdır). Tarama Talebi (Crawl Demand) ise sitenizin popülaritesi, sayfa güncellenme sıklığı ve arama talebidir. Gerçek tarama bütçesi bu iki metriğin kesişiminde oluşur.

Q: Sunucu yanıt süresi (TTFB) tarama bütçesini nasıl etkiler?

Googlebot, bir sayfayı indirirken sunucunun yanıt vermesini bekler. TTFB 200ms olduğunda Googlebot ayrılan zaman penceresinde yüz binlerce sayfayı hızla tarayabilirken; TTFB 1200ms seviyesine çıktığında eşzamanlı bağlantı sınırına takılır ve günlük taranabilen sayfa sayısı %70'e varan oranda düşer.

Q: JavaScript Client-Side Rendering (CSR) tarama bütçesini neden israf eder?

Client-Side Rendering (CSR) kullanan sitelerde HTML boştur ve içerik istemcide JavaScript çalıştırılarak oluşturulur. Googlebot, saf HTML sayfaları doğrudan ilk geçişte indekslerken, JS sayfalarını ikinci aşamadaki Web Rendering Service (WRS) kuyruğuna atar. Bu durum arama motorunun CPU ve bellek maliyetini 15 kat artırarak tarama sıklığının azalmasına ve indekslenme gecikmelerine (index lag) yol açar.

Q: HTTP 304 (Not Modified) ve HTTP 404/5xx durum kodlarının tarama verimliliğine etkisi nedir?

Değişmeyen sayfalar için HTTP 304 başlığı dönüldüğünde bot tüm gövdeyi indirmek yerine yalnızca başlığı okur; böylece bant genişliği ve zaman harcamadan diğer sayfalara geçer. Buna karşılık %2'nin üzerindeki 5xx sunucu hataları Googlebot'un Host Load Backoff mekanizmasını tetikleyerek taramayı kilitler; 404 ve gereksiz 301 yönlendirme zincirleri ise botun ayrılan bütçesini ölü sayfalarda tüketir.

Web sitenizin Googlebot tarama kapasitesini, ortalama TTFB sunucu yanıt süresi, JavaScript render mimarisi ve HTTP durum kodları dağılımına göre simüle edin; israf edilen tarama bütçenizi ve darboğazları tespit edin.

Googlebot sitenize sınırsız kaynak ayırmaz.

Googlebot, sunucunuz yavaşladığında (yüksek TTFB) veya hata verdiğinde (5xx) altyapınızı korumak amacıyla tarama hızını (Crawl Rate Limit) anında kısar. Ağır CSR sayfalar ve gereksiz yönlendirme zincirleri ise değerli tarama hakkınızı tüketerek yeni içeriklerinizin dizine girmesini geciktirir.

Crawl Rate vs Crawl Demand dengesi
İki aşamalı Chromium WRS render maliyeti
Host Load Backoff koruma mekanizması
Kayıt gerektirmeyen şeffaf simülasyon

Hızlı Senaryo ve Sektör Şablonları

Adım 1

Site Ölçeği ve İçerik Dinamizmi

Sitenizin toplam taranabilir URL hacmi ve günlük eklenen / güncellenen sayfa yoğunluğu.

Toplam URL / Sayfa Sayısı URL

XML site haritanızdaki ve taranabilir dahili bağlantılardaki toplam sayfa adedi.

Günlük Güncellenen / Yeni URL URL/gün

Her gün fiyatı değişen ürünler, yeni blog yazıları veya revize edilen sayfalar.

Adım 2

Sunucu Performansı ve Varlık Boyutu

Googlebot'un sunucuya aşırı yüklenmeden açabileceği eşzamanlı bağlantı kapasitesini belirleyen metrikler.

Ortalama TTFB (Time to First Byte) ms

Sunucunun ilk HTML baytını gönderme süresi (Search Console > Ayarlar > Tarama İstatistikleri).

Mükemmel (<200ms)

Ortalama HTML Yanıt Boyutu KB

Sıkıştırılmış (Gzip/Brotli) saf HTML boyutu (CSS, JS ve resimler hariçtir).

Hafif & Optimize (<50KB)

Adım 3

JavaScript Render Mimarisi

Googlebot'un içeriğe doğrudan ilk geçişte mi yoksa ikinci aşamadaki render kuyruğunda mı ulaştığını belirler.

Statik HTML / SSR (Server-Side Rendering) HTML içeriği sunucuda hazır üretilir. Googlebot JS çalıştırmadan anında indeksler. Bot CPU maliyeti minimumdur. Render Çarpanı: 1.00x (Maksimum Hız) Hibrit / Isomorphic Hydration Temel içerik sunucu HTML'indedir; interaktif bileşenler istemcide canlandırılır. Bot içeriği görür, küçük render yükü oluşur. Render Çarpanı: 0.85x (Yüksek Hız) Client-Side Rendering (CSR / SPA) HTML boştur; içerik tarayıcıda JS çalıştırılarak çizilir. Googlebot WRS kuyruğunda bekletir, tarama hızı %60 düşer. Render Çarpanı: 0.38x (Ağır Kuyruk)

Adım 4

Sunucu HTTP Durum Kodları Dağılımı (%)

Sunucu loglarınızdaki veya Google Search Console tarama istatistiklerindeki yanıt kodları oranı.

200 OK% Başarıyla taranan faydalı sayfalar

304 Not Modified% Değişmemiş, gövdesi indirilmeden doğrulanan

301 / 302 Yönlendirme% Ekstra istek harcatan yönlendirme zincirleri

404 / 410 Bulunamadı% Boşa harcanan kırık link istekleri

5xx Sunucu Hatası% Host Load Backoff tetikleyen kritik hatalar

Toplam: %100

Tarama Karnesi & Canlı Teşhis

Tarama Bütçesi Simülasyon Raporu

96 / 100 PUAN

Mükemmel Taranabilirlik & Yüksek Kapasite

Sunucu yanıt süreleriniz ve teknik mimariniz Googlebot için ideal seviyede. Bot istekleri minimum israfla doğrudan faydalı içeriğe ulaşıyor.

Günlük Tarama Kapasitesi 2.645 istek Aylık ~79.350 bot isteği

İsraf Edilen Tarama Bütçesi %2.5 Günlük ~66 boşa giden istek

Faydalı / Net Tarama 2.579 sayfa/gün Gerçek içeriğe ulaşan istekler

Tam Site Tarama Döngüsü 0.6 gün %100 (Günlük 20 güncelleme anında karşılanıyor)

Tarama Bütçesi İsraf Kaynakları & Detaylar

404 Ölü Bağlantılar 26 istek/gün (%1.0)

3xx Yönlendirme Kaybı 40 istek/gün (%2.0)

5xx Sunucu Hata İsrafı 0 istek/gün (%0.0)

CSR / Render Kuyruk Yükü 0 (Statik / SSR)

304 Önbellek Eksikliği 0 (304 Önbellek Aktif)

Öncelikli Teknik İyileştirme Yol Haritası

Teknik SEO Projesini Narvals ile Başlatın

Tarama verimliliğinin teknik standartları.

Hesaplama modelimiz; Google Search Central resmi tarama bütçesi rehberleri, WRS (Web Rendering Service) mimarisi ve RFC 9110 HTTP önbellekleme protokolleri baz alınarak modellenmiştir.

Milyonlarca sayfa için optimize edilmiş teknik mimari.

Narvals Labs; e-ticaret siteleri, büyük kataloglar ve özel SaaS yazılımları için sıfır israflı taranabilirlik, edge caching ve yüksek hızlı SSR altyapıları inşa eder.

Teknik Web Tasarım Yaklaşımımız

Sık Sorulan Sorular

Tarama Bütçesi ve Bot Optimizasyonu hakkında.

Tarama Bütçesi (Crawl Budget) nedir ve hangi siteler için kritiktir?

Tarama bütçesi, Googlebot'un sunucunuzu zorlamadan sitenizden indirebileceği ve dizine ekleyebileceği maksimum sayfa sayısıdır. 10.000'den fazla sayfaya sahip e-ticaret siteleri, sık güncellenen portallar ve filtreli kataloglar için tarama bütçesi optimizasyonu doğrudan yeni sayfaların indekslenme hızını ve arama trafiğini belirler.

Googlebot Tarama Hızı Sınırı (Crawl Rate Limit) ile Tarama Talebi (Crawl Demand) arasındaki fark nedir?

Tarama Hızı Sınırı, sunucunuzun çökmesini önlemek için Googlebot'un uyguladığı güvenlik tavanıdır (TTFB ve 5xx hatalarına bağlıdır). Tarama Talebi ise sitenizin popülaritesi, sayfa güncellenme sıklığı ve arama hacmidir. Gerçek tarama performansı bu iki metriğin dengesiyle oluşur.

Sunucu yanıt süresi (TTFB) tarama bütçesini nasıl etkiler?

Googlebot, sayfayı indirirken sunucunun yanıt vermesini bekler. TTFB 200ms olduğunda Googlebot aynı zaman aralığında yüz binlerce sayfayı hızla tarayabilirken; TTFB 1200ms seviyesine çıktığında eşzamanlı bağlantı sınırına takılır ve günlük taranabilen sayfa sayısı %70'e varan oranda düşer.

JavaScript Client-Side Rendering (CSR) tarama bütçesini neden israf eder?

CSR mimarisinde HTML boştur ve içerik tarayıcıda JS çalıştırılarak üretilir. Googlebot, saf HTML sayfaları doğrudan ilk geçişte indekslerken, JS sayfalarını ikinci aşamadaki Web Rendering Service (WRS) kuyruğuna atar. Bu durum arama motorunun CPU maliyetini 15 kat artırarak tarama sıklığının azalmasına ve indeks gecikmesine yol açar.

HTTP 304 (Not Modified) ve HTTP 404/5xx durum kodlarının tarama verimliliğine etkisi nedir?

Değişmeyen sayfalar için HTTP 304 başlığı dönüldüğünde bot tüm gövdeyi indirmek yerine yalnızca başlığı okur; böylece bant genişliği ve zaman harcamadan diğer sayfalara geçer. Buna karşılık %2'nin üzerindeki 5xx sunucu hataları Googlebot'un Host Load Backoff mekanizmasını tetikleyerek taramayı kısıtlar; 404 ve yönlendirme zincirleri ise botun hakkını ölü sayfalarda tüketir.