Güven ve uyumluluk · 2026-06-02

AI crawler robots.txt ve llms.txt rehberi: OAI-SearchBot, PerplexityBot

AI crawler robots.txt kararlarını, llms.txt dosyasının sınırlarını, OAI-SearchBot, GPTBot, PerplexityBot, Google AI features ve LLMTR içerik erişimini doğru yönetin.

AI crawler robots.txt ve llms.txt rehberi için OAI-SearchBot, GPTBot, PerplexityBot, Google AI features, LLMTR docs ve güvenlik sınırlarını gösteren teknik diyagram.

AI crawler erişiminde ilk karar: search mi training mi?

AI crawler yönetiminde en kritik ayrım, içeriğin arama/citation yüzeylerinde görünmesi ile model eğitimi için kullanılmasını ayırmaktır.

LLMTR gibi teknik ürünlerde public blog ve docs sayfalarının search/citation için erişilebilir olması istenebilir; ancak özel hesap, API key, ödeme ve kullanıcı verisi asla public crawler yüzeyine açılmamalıdır.

  • Public blog, docs ve model sayfaları search visibility için adaydır.
  • Dashboard, billing, API key ve kullanıcı verisi crawler'a kapalı kalmalıdır.
  • Training ve search botları aynı politika gibi ele alınmamalıdır.
  • robots.txt değişikliği Search Console ve log gözlemiyle izlenmelidir.

llms.txt ne sağlar, ne sağlamaz?

llms.txt, LLM sistemleri için sitenin önemli sayfalarını sade Markdown formatında gösterebilen pratik bir içerik haritasıdır.

Bu yüzden llms.txt garanti görünürlük veya özel sıralama aracı gibi anlatılmamalıdır. LLMTR için doğru rolü; public dokümantasyon, model katalog, blog ve politika sayfalarını temiz, güncel ve kontrollü biçimde listeleyen yardımcı yüzeydir.

  • llms.txt teknik içerik haritası olarak kullanılmalıdır.
  • Google AI Mode için zorunlu gereksinim gibi yazılmamalıdır.
  • İçerik güncelliği ve origin-relative link disiplini korunmalıdır.
  • Gizli veya kullanıcıya özel veri asla eklenmemelidir.

OAI-SearchBot, GPTBot ve PerplexityBot için politika

OAI-SearchBot'u search görünürlüğü için ayrı değerlendirmek, GPTBot'u training tercihi olarak ayrı kontrol etmek daha net bir politika sağlar.

Bu kararlar tek seferlik değildir. Bot davranışı, IP aralıkları, referrer verisi ve crawl sıklığı zamanla değişebileceği için log temelli gözlem ve düzenli policy review gerekir.

  • Search botlarını görünürlük hedefiyle değerlendirin.
  • Training botlarını veri politikası ve lisans kararıyla değerlendirin.
  • User-agent tek başına güvenlik sınırı değildir.
  • Private route güvenliği robots.txt'e bırakılmamalıdır.

LLMTR için güvenli yayın sınırı

LLMTR public içerikleri crawler erişimine uygun olabilir; ancak sistemin güvenlik modeli public/private ayrımını route, auth, header, cache ve veri katmanında zorunlu kılmalıdır.

Yeni blog yazıları bu sınırı güçlendirmelidir: public içerik kullanıcı kararını anlatır, gizli iç mimari veya güvenlik detayı gereğinden fazla açıklanmaz, API key veya secret örneği verilmez.

  • Public içerikte gerçek API key veya secret yoktur.
  • İç linkler origin-relative olur.
  • Private alanlar auth ile korunur.
  • Crawler politikası smoke test ve log gözlemiyle takip edilir.

AI crawler ve llms.txt yayın kontrolü

Search, training ve public içerik haritası kararlarını ayırarak crawler erişimini güvenli şekilde yönetin.

  1. Public yüzeyi sınıflandırın. Blog, docs, model, pricing ve legal sayfaları public; dashboard, billing ve API key alanlarını private olarak işaretleyin.
  2. Search ve training botlarını ayırın. OAI-SearchBot, GPTBot, PerplexityBot ve benzer user-agent'ları aynı amaçla değerlendirmeyin.
  3. llms.txt içeriğini sade tutun. Yalnızca public, güncel ve kaynak olmaya uygun sayfaları listeleyin; secret, kullanıcı verisi veya iç sistem detayı eklemeyin.
  4. Log ve smoke testle izleyin. robots.txt, llms.txt, bot snapshot ve server log kontrollerini her SEO revizyonundan sonra çalıştırın.

Sık sorulan sorular

AI crawler robots.txt ile tamamen engellenebilir mi?

robots.txt iyi davranan crawler'lara niyet bildirir, güvenlik sınırı değildir. Gizli veya kullanıcıya özel veri her zaman authentication ve authorization ile korunmalıdır.

llms.txt Google AI Overviews için zorunlu mu?

Hayır. Google Search Central, AI features için özel bir makine okunabilir dosya gerekmediğini belirtir. llms.txt yine de public içerik haritası olarak faydalı olabilir.

OAI-SearchBot ve GPTBot aynı şey mi?

Hayır. OpenAI dokümantasyonunda OAI-SearchBot arama sonuçları için, GPTBot ise foundation model training amacıyla ayrı tanımlanır. robots.txt politikasında ayrı değerlendirilmelidir.

İlgili yazılar