Yapay zekâ arama motorları web sitemi nasıl okur ve tavsiye eder? RAG mimarisi ve LLM tarama mantığı
ChatGPT Search, Gemini ve Perplexity bir soruya cevap verirken hangi sayfaları nasıl seçer? RAG mimarisi, yapay zekâ tarayıcıları ve robots.txt'de nelere izin verilmeli.
Geleneksel arama motorlarında sıralama savaşı verirken denkleme yeni bir aktör katıldı: yapay zekâ destekli arama sistemleri. Artık milyonlarca kullanıcı bilgi aramak, hizmet almak veya ürün karşılaştırmak için arama sonuçlarını tek tek gezmek yerine ChatGPT Search, Google Gemini ve Perplexity gibi dil modellerine doğrudan soru soruyor.
Peki bu sistemler web sitelerini nasıl tarar, hangi kriterlere göre seçer ve neden sizin markanızı önerir? Cevap büyük ölçüde RAG (Retrieval-Augmented Generation) mimarisinde yatıyor.
Yapay zekâ arama motorunun çalışma mimarisi: RAG
Klasik arama motorları sayfaları dizine ekleyip en yüksek puanlı bağlantıları listeler. Yapay zekâ arama araçları ise RAG (erişimle güçlendirilmiş üretim) adı verilen bir yöntemle çalışır:
[Kullanıcı sorusu] ➔ [Anlık web araması (retrieval)] ➔ [İçeriklerin sentezlenmesi] ➔ [Özet yanıt ve kaynak gösterimi (generation)]- Sorguyu anlama: Model kullanıcının niyetini çözer (örneğin "İstanbul Anadolu yakasında B2B çalışan güvenilir yazılım ajansları").
- Belge erişimi (retrieval): Arama altyapısı ve tarayıcılar web'deki en alakalı birkaç kaynağı anında çeker.
- Eleme ve sıralama (reranking): İçi boş, anahtar kelime doldurulmuş sayfalar elenir; somut rakam, tablo ve net bilgi içeren paragraflar öne çıkar.
- Cevap üretimi ve atıf (citation): Model bilgileri birleştirerek cevabı yazar; markanızı önerebilir ve metnin yanına tıklanabilir kaynak bağlantınızı ekler.
Klasik Googlebot ile yapay zekâ tarayıcılarının farkı
| Kriter | Geleneksel arama botu (Googlebot) | Yapay zekâ arama araçları (OAI-SearchBot, PerplexityBot) |
|---|---|---|
| Odak noktası | İçerik alaka düzeyi, sayfa yapısı, bağlantılar | Bilgi yoğunluğu, doğruluk, doğrudan cevap |
| İçerik tüketimi | Başlıklar ve metin | Tablolar, net veriler, mantıklı argümanlar, SSS blokları |
| Görünürlük çıktısı | 10 mavi bağlantı arasında sıralanma | Modelin cevabında önerilen çözüm veya marka olarak anılma |
| Kullanıcı güveni | Kullanıcı bağlantıları tek tek açmak zorunda kalır | Model cevabın içinde kaynak gösterdiği için karar daha hızlı verilir |
Sitenizin yapay zekâ tarafından tavsiye edilmesini sağlayan 4 kural
1. "Soru - doğrudan yanıt" biçimi
Dil modelleri metinleri parçalar (chunk) hâlinde okur. Başlığınız net bir soruysa (örneğin "Özel ERP yazılımı ne kadar sürede tamamlanır?") ve altındaki ilk cümle kesin bir bilgi veriyorsa ("Projenin kapsamına bağlı olarak ortalama 6 ila 12 hafta arasında tamamlanır"), yapay zekâ bu parçayı doğrudan cevap olarak kullanabilir.
2. Tablo ve numaralı liste hiyerarşisi
Yapay zekâ modelleri karşılaştırmaları tablolar ve numaralı listeler üzerinden çok daha kolay ayrıştırır. Hizmetlerinizi, fiyat basamaklarınızı veya teknik özelliklerinizi tablo yapısıyla sunmak alıntılanma şansınızı artırır.
3. Varlık otoritesi (entity authority) ve dijital tutarlılık
Model bir markayı önerirken tek bir sayfaya güvenmez. Firmanızın adı, unvanı, kurucusu ve sunduğu hizmetler web'in farklı noktalarında (LinkedIn, basın haberleri, Google İşletme Profili, sektörel dizinler) ne kadar tutarlı geçiyorsa, firmanızın "gerçek ve meşru bir varlık" olarak kabul edilme ihtimali o kadar artar.
4. robots.txt dosyasında yapay zekâ botlarına izin vermek
Birçok site sahibi farkında olmadan yapay zekâ botlarını engeller. Sitenizin bu araçlarda görünmesi için robots.txt dosyanızda şu botlara izin verilmelidir:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /Bu botların görevleri farklıdır: OAI-SearchBot ve PerplexityBot sayfaları arama cevapları için çeker; GPTBot ve Google-Extended ise içeriğin model eğitiminde kullanılmasıyla ilgilidir. Eğitime kapalı kalmak isteyip arama cevaplarında görünmek isteyen siteler yalnızca arama botlarına izin verebilir.
Sıkça sorulan sorular
Yapay zekânın sitemi tavsiye etmesi için ücretli reklam verebilir miyim?
Şu an için ChatGPT veya Perplexity gibi sistemlerin organik önerileri reklam gibi satın alınamıyor. Tavsiye edilmenin yolu, modelin taradığı bilgi havuzunda net, güvenilir ve yapılandırılmış içeriğe sahip olmaktır.
Yapay zekâ modelleri sitemi kaynak gösterdiğinde siteme trafik gelir mi?
Evet. Perplexity, ChatGPT Search ve Gemini ürettikleri cevapların yanına kaynak bağlantıları koyar. Kullanıcı cevabı okuduktan sonra hizmeti almak veya bilgiyi doğrulamak için bu bağlantılara tıklar. Bu trafik, satın almaya genellikle daha hazır bir kitledir.
Konuya giriş için GEO nedir? Yapay zekâ arama motorlarında önerilen marka olma rehberi ve yapay zekâ arama motorlarında önerilen marka olma rehberi yazılarına bakabilirsiniz.
İlgili yazılar: GEO nedir? Yapay zekâ arama motorlarında önerilen marka olma rehberi, Web sitelerinde Schema (yapılandırılmış veri): arama motorlarına ve yapay zekâya rehberlik etmek, Web tasarımında yapay zekâ kullanımı: banner, prototipleme ve üretken tasarımın doğru entegrasyonu.