Google ve AI botları sitenizi nasıl tarar? İndeksleme rehberi

Bot türleri

Arama botları ile yapay zekâ eğitim tarayıcılarını birbirinden ayırın.

Botlar aynı amaca hizmet etmez. Bazıları arama indeksini oluşturur, bazıları kullanıcı isteğiyle tekil sayfa getirir, bazıları ise gelecekteki model geliştirmesi için veri toplar. Arama tarayıcısını engellemek ilgili üründeki kaynak görünürlüğünü azaltabilir; eğitim botunu engellemek aynı ürünün arama botunu otomatik olarak engellemez.

OpenAI’ın resmî dokümantasyonuna göre OAI-SearchBot ChatGPT Search içindir, GPTBot model geliştirme içindir ve ChatGPT-User kullanıcı tarafından başlatılan erişimdir. Anthropic ve Perplexity de benzer biçimde ayrı bot rolleri yayımlar. Google AI Overviews ve AI Mode için ayrıca bir “AI botu” gerekmez; erişim Googlebot üzerinden yönetilir.

Parçalama mekaniği

RAG sistemlerinin ayrıntıları kapalıdır; içeriği insan için düzenleyin.

RAG araştırmalarında belge, pasaj veya önerme düzeyinde farklı retrieval yöntemleri denenir. Bu akademik mimariler, Google, ChatGPT Search, Claude veya Perplexity’nin üretim sisteminde aynı token sınırlarıyla kullanıldığını göstermez.

Google’ın Temmuz 2026 rehberi sabit bir parça boyutu olmadığını ve içeriği AI için küçük bloklara bölmenin gerekmediğini açıkça söyler. Başlık, paragraf, liste ve tabloları okuyucunun konuyu izlemesi ve iddiayı denetlemesi için kullanın.

1. Ters Piramit Başlangıcı (Definitional Lede): Her H2 veya H3 başlığının ilk cümlesinde konunun net ve bağımsız tanımını verin. Belirsiz zamirler (“bu yöntem, onlar, bunlar”) yerine açık varlık adını kullanın.
2. Sayısal ve İstatistiksel Destek: Yalnız kaynağı, tarihi, örneklemi ve sınırı açıklanabilen rakamları kullanın.
3. Doğrulanabilir Uzman Alıntıları: Gerçek bir görüşü bağlamı ve kaynağıyla aktarın; görünürlük yüzdesi veya kaynak seçimi garantisi vermeyin.
4. Yapılandırılmış Tablolar: Karşılaştırmaları tabloya yalnız ilişkiyi insan için gerçekten daha anlaşılır kılıyorsa dönüştürün.

Information Gain

Google’ın Bilgi Kazanımı (Information Gain) patenti nasıl çalışır?

Google’ın US 10,846,346 B2 numaralı patenti, bir kullanıcının daha önce gördüğü belgeler bağlamında yeni bilgi miktarını tahmin eden bir yaklaşım tarif eder. Patent metni kamuya açıktır; ancak bu, yöntemin güncel Search sıralamasında aynı biçimde kullanıldığını kanıtlamaz.

Uygulama kararı patent varsayımına değil, Google’ın güncel ve açık rehberine dayanmalıdır: kolayca yeniden üretilemeyen, ilk elden deneyim veya özgün bakış sunan, insan için yararlı içerik üretin; seri ve düşük değerli sayfalardan kaçının.

• Her konuda rakiplerde bulunmayan en az 2 özgün veri noktası, metrik veya karar tablosu ekleyin.
• Kullanıcının kendi verisini girdiği interaktif JavaScript karar ve hesaplama araçları sunun.
• Teorik tavsiye yerine gerçek sınırlamaları, maliyetleri ve kimler için uygun olmadığını açıkça yazın.
• Editoryal kontrolsüz, jenerik AI metin üretiminden kaçının; insan uzman doğrulaması uygulayın.

Keşif dosyaları

robots.txt, llms.txt ve IndexNow ile gerçek zamanlı keşif mimarisi.

Sitemap keşfe yardımcı olur ama tarama veya indeks garantisi vermez. Sayfanın gerçek, taranabilir iç bağlantılarla bulunması; canonical sinyallerinin tutarlı olması; sunucu ve WAF’ın botlara 200 yanıtı vermesi daha temel koşullardır.

robots.txt erişim tercihini ve sitemap adresini bildirir. IndexNow destekleyen arama motorlarına değişiklik bildirir; Google IndexNow kullanmaz. llms.txt bazı ajanlar için isteğe bağlı bir özet olabilir, ancak ortak bir indeksleme standardı değildir ve Google Search dosyayı yok sayar.

Şema mimarisi

Google Knowledge Graph ve AI için birbirine bağlı JSON-LD grafı.

JSON-LD nesneleri aynı `@id` ile bağlandığında yayıncı, sayfa ve içerik ilişkileri daha tutarlı ifade edilebilir. Tek bir `@graph` kullanmak bakım kolaylığı sağlar; Google ayrı geçerli JSON-LD bloklarını da işleyebilir ve birleşik graf zorunlu değildir.

sameAs yalnız gerçekten aynı varlığı temsil eden resmî veya doğrulanabilir profil için kullanılmalıdır. Rastgele Wikidata/Wikipedia bağlantıları, uzmanlık anahtar kelimeleri veya görünmeyen bilgiler varlık doğruluğunu artırmaz.

Performans takibi

AI indeksleme ve arama görünürlüğünü nasıl ölçeceksiniz?

Yapay zekâ yanıtlarında yer almayı klasik sıra takibiyle ölçmek imkansızdır; çünkü AI yanıtları kişiselleştirilmiş ve anlık üretilir. Başarı şu 4 eksende takip edilmelidir:

Search Console Generative AI Performance raporundaki AI Overviews gösterimleri, web sunucu loglarındaki OAI-SearchBot ve Claude-SearchBot 200 HTTP yanıtları, yönlendirme (referral) analitiğindeki AI kaynaklı oturumlar ve marka sorgularındaki doğrudan talep artışı.

• Haftalık olarak bot loglarında 4xx veya 5xx tarama hatalarını denetleyin.
• Search Console URL Denetimi ile önemli sayfaların taranma ve indeks durumunu doğrulayın.
• Analytics üzerinde chatgpt.com, perplexity.ai ve claude.ai yönlendirme trafiğini ayrı segmentte izleyin.
• Hedeflenen 20 anahtar karar sorgusunu aylık periyotlarla sabit prompt setiyle test edin.

Sık sorulan sorular

Kısa ve doğrudan cevaplar.

Birincil kaynaklar

Kaynaklar ve kapsam.

Bağlantılar içerikteki değişebilir veya dış doğrulama gerektiren bilgilerin kaynağıdır. Ticari ilişki veya sponsorlu bağlantı değildir.

1. KDD 2024 — GEO: Generative Engine Optimization (Aggarwal et al., arXiv:2311.09735)
2. EMNLP 2024 — Dense X Retrieval: What Retrieval Granularity Should We Use? (Chen et al.)
3. Google US Patent 10,846,346 B2 — Contextual Estimation of Information Gain Score
4. Google Search Central — Arama İndeksleme ve Tarama Esasları
5. Google Search Central — Üretken AI özellikleri için optimizasyon rehberi
6. OpenAI — Crawler ve Arama Botu Dokümantasyonu (OAI-SearchBot)
7. Anthropic — Claude Search ve Web Tarama Politikası
8. Perplexity — PerplexityBot ve Perplexity-User dokümantasyonu
9. llmstxt.org — The /llms.txt Standard for Generative AI
10. IndexNow.org — Arama Motorları İçin Anlık İndeksleme Protokolü

İlgili rehberler

İlgili rehberlerle devam edin.