Güven ve görünürlük · 2026-09-22

GPTBot, PerplexityBot ve ClaudeBot yönetimi: robots.txt rehberi

OAI-SearchBot dışındaki yapay zeka tarayıcılarını (GPTBot, PerplexityBot, ClaudeBot, Google-Extended) ayrı ayrı ele alır; eğitim amaçlı tarayıcıyı engellemenin arama tarayıcısını neden engellemediğini açıklar.

Aynı robots.txt dosyasında eğitim amaçlı tarayıcıların engellenip arama amaçlı tarayıcılara izin verildiğini gösteren kural listesi şeması.

Tek bir 'yapay zeka botu' yok

OAI-SearchBot ChatGPT Search görünürlüğü yazısında ele alınan OAI-SearchBot, yalnızca arama amaçlı bir tarayıcıdır ve OpenAI'nin eğitim verisi toplayan GPTBot'undan ayrı bir user-agent'tır. Aynı ayrım diğer sağlayıcılarda da geçerlidir: Anthropic'in ClaudeBot'u, Perplexity'nin PerplexityBot'u ve Google'ın Google-Extended etiketi, her biri kendi robots.txt kuralıyla ayrı ayrı yönetilir.

Robots.txt'de 'yapay zeka botları' diye bir kategori yoktur. `User-agent: *` grubu, kendisi için daha özel bir grup yazılmamış her tarayıcıya uygulanır; yani yapay zeka tarayıcılarını da kapsar, ama Googlebot ve Bingbot gibi arama tarayıcılarını da. Yalnızca belirli yapay zeka tarayıcılarını engellemek istiyorsanız onları user-agent adlarıyla ayrı gruplarda yazmanız gerekir.

Eğitim tarayıcısını engellemek arama görünürlüğünü etkilemez

Bir sitenin model eğitimi için içeriğinin kullanılmasını istememesi ile ChatGPT Search, Perplexity veya Bing Copilot gibi ürünlerde kaynak olarak gösterilmek istemesi çelişmez; bunlar farklı user-agent'larla ayrılmıştır. GPTBot'u engelleyip OAI-SearchBot'a izin vermek, içeriğin model eğitiminde kullanılmasını reddederken arama sonuçlarında kaynak olarak görünmeye devam etmek anlamına gelir.

Bu ayrımı kurmadan tüm 'GPT' veya 'AI' geçen user-agent'ları toptan engellemek, sitenin farkında olmadan arama görünürlüğünden de çıkmasına yol açabilir.

  • GPTBot (OpenAI, eğitim) ile OAI-SearchBot (OpenAI, arama) ayrı user-agent'lardır.
  • ClaudeBot (Anthropic) ve PerplexityBot (Perplexity) kendi kurallarıyla yönetilir.
  • Google-Extended, Google'ın genel arama tarayıcısından ayrı bir izin etiketidir.
  • Bir kategoriyi engellemek diğerini otomatik engellemez; her satırı ayrı yazın.

Kural değişikliklerini periyodik gözden geçirin

Sağlayıcılar yeni user-agent adları ekleyebilir veya mevcut birinin davranışını değiştirebilir; robots.txt dosyasını tek seferlik yazıp unutmak yerine, sağlayıcıların resmi crawler dokümantasyonunu periyodik olarak kontrol etmek, kuralların güncel kalmasını sağlar.

Sık sorulan sorular

GPTBot'u engellersem ChatGPT Search'te de görünmez miyim?

Hayır, ikisi ayrı user-agent'tır. GPTBot eğitim verisi toplar, OAI-SearchBot arama sonuçları için içeriği tarar. GPTBot'u engelleyip OAI-SearchBot'a izin vermek her ikisini de ayrı ayrı yönetmenizi sağlar.

Tüm yapay zeka tarayıcılarını tek bir kuralla engelleyebilir miyim?

`User-agent: *` ile yazılan tek bir grup, kendisi için ayrı grup tanımlanmamış tüm tarayıcıları kapsar; ancak bu yalnızca yapay zeka tarayıcılarını değil, arama motoru tarayıcılarını da engeller. Adıyla ayrı grup yazılmış bir tarayıcı ise joker grubu yok sayar ve yalnızca kendi grubuna uyar. Arama görünürlüğünü korurken yapay zeka tarayıcılarını engellemek için her birini adıyla ayrı grupta belirtin.

İlgili yazılar