AI Crawler ve robots.txt: GPTBot, ClaudeBot ve Diğerleri
GPTBot, ClaudeBot, Google-Extended ve PerplexityBot'u robots.txt ile yönetmek: eğitim, arama ve kullanıcı botları ayrımı, örnek kurallar ve test adımları.
AI crawler botlarını robots.txt ile yönetmenin özü şu: her yapay zekâ şirketi eğitim, arama ve kullanıcı isteği için ayrı botlar kullanır ve bunları ayrı satırlarla yönetirsin. GPTBot’u engelleyip OAI-SearchBot’a izin veren bir site, içeriğinin eğitimde kullanılmamasını isterken ChatGPT aramasında görünmeye devam edebilir. Google tarafında ise Google-Extended, Arama’yı ve AI Overviews’u etkilemez.
Bu yazıda OpenAI, Anthropic, Google ve Perplexity’nin belgelenmiş botlarını, kopyalayıp uyarlayabileceğin robots.txt örneklerini ve en sık gördüğüm yorumlama hatalarını anlatıyorum. Yapay zekâ görünürlüğünün genel çerçevesi için önce GEO nedir yazıma bakabilirsin; bu yazı onun teknik erişim tarafı.
AI tarayıcıları hangi işleri yapar?
AI tarayıcıları üç farklı iş yapar ve robots.txt kararı her iş için ayrı verilir. Birinci grup içeriği model eğitimi için toplar. İkinci grup yapay zekâ aramasına dizin oluşturur ve atıf linklerini belirler. Üçüncü grup ise bir kullanıcı soru sorduğunda sayfayı o an açar.
Bu ayrımın pratik sonucu büyük. Eğitim botunu engellemek, içeriğinin gelecekteki modellerde kullanılmamasını istemek demektir. Arama botunu engellemek ise o platformun cevaplarında kaynak olarak gösterilme şansını kapatır. İkisini aynı satırda engellemek, çoğu hizmet sitesi için istenmeyen bir sonuçtur.
robots.txt, botlara hangi URL’lere erişebileceklerini söyleyen bir kurallar dosyasıdır. Kuralları, protokolün güncel tanımı olan RFC 9309 belirler. Her kural grubu bir User-agent satırıyla başlar, altında Allow ve Disallow satırları gelir.
Hangi AI botları var ve ne işe yarıyorlar?
Aşağıdaki tablo, dört büyük şirketin kendi dokümantasyonunda tanımladığı botları işlevine göre gruplar. Botların adları zamanla değişebileceği için listeyi kendi robots.txt’ne aktarmadan önce kaynaklardan kontrol etmeni öneririm.
| Şirket | Eğitim | Arama | Kullanıcı tetiklemeli |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
Google-Extended (belirteç) | Googlebot | — | |
| Perplexity | — | PerplexityBot | Perplexity-User |
OpenAI: GPTBot, OAI-SearchBot ve ChatGPT-User
OpenAI’ye göre OAI-SearchBot, sitelerin ChatGPT’nin arama özelliklerinde gösterilmesi için kullanılır.[1] Bu bota kapalı siteler ChatGPT arama cevaplarında gösterilmez, yalnızca gezinme linki olarak çıkabilir. GPTBot ise üretken yapay zekâ temel modellerinin eğitiminde kullanılabilecek içeriği toplar.
OpenAI, iki ayarın birbirinden bağımsız olduğunu açıkça yazıyor.[1] İki bota da izin veren bir sitede tekrarlı taramayı önlemek için tek bir taramanın sonucu iki amaçla kullanılabiliyor. ChatGPT-User ise kullanıcı ChatGPT’ye bir soru sorduğunda sayfayı açar ve otomatik tarama yapmaz. OpenAI, bu istekler kullanıcı tarafından başlatıldığı için robots.txt kurallarının uygulanmayabileceğini belirtiyor.[1]
Anthropic: ClaudeBot, Claude-SearchBot ve Claude-User
Anthropic de aynı üçlü yapıyı kullanıyor.[2] ClaudeBot eğitime katkı sağlayabilecek içeriği toplar ve engellendiğinde sitenin gelecekteki içerikleri eğitim veri setlerinden çıkarılır. Claude-SearchBot arama sonuçlarının kalitesi için içeriği dizinler. Claude-User ise kullanıcı Claude’a soru sorduğunda sayfayı açar.
Anthropic’in dokümanında iki ayrıntı dikkat çekiyor. Birincisi, standart dışı Crawl-delay yönergesini destekliyorlar. İkincisi, engelleme kuralının her alt alan adı için ayrı yazılması gerekiyor.[2] IP adresi engellemenin ise robots.txt’nin okunmasını da engellediği için güvenilir bir yol olmadığını söylüyorlar.
Google: Googlebot ve Google-Extended
Google tarafında durum farklı, çünkü yapay zekâ özellikleri Arama’nın içinde çalışıyor. Google-Extended, ayrı bir HTTP user agent’ı olmayan bir ürün belirtecidir; tarama mevcut Google botlarıyla yapılır.[3] Bu belirteç, içeriğin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI’daki grounding işleminde kullanılıp kullanılmayacağını yönetir. Grounding, modelin cevap üretirken arama dizinindeki güncel içerikten yararlanmasıdır.
Google, Google-Extended’in bir sitenin Google Arama’ya dahil edilmesini etkilemediğini ve sıralama sinyali olmadığını belirtiyor.[3] Google’ın yapay zekâ özellikleri dokümantasyonuna göre AI Overviews ve AI Mode’daki görünürlüğü Googlebot kuralları ile nosnippet, max-snippet ve noindex gibi kontroller belirliyor. Yani AI Overviews’tan çıkmak için Google-Extended’i engellemek işe yaramaz.
Perplexity: PerplexityBot ve Perplexity-User
Perplexity, PerplexityBot’un arama sonuçlarında siteleri göstermek ve linklemek için çalıştığını, yapay zekâ temel modelleri için içerik toplamadığını belirtiyor.[5] Perplexity-User ise kullanıcı sorusuna cevap verirken sayfayı açar. Perplexity, bu getiricinin isteği kullanıcı başlattığı için robots.txt kurallarını genellikle yok saydığını kendi dokümanında açıkça yazıyor.[5]
GPTBot robots.txt ile nasıl engellenir?
Kısa cevap
GPTBot robots.txt ile nasıl engellenir?
GPTBot’u engellemek için robots.txt dosyasına “User-agent: GPTBot” satırını ve altına “Disallow: /” kuralını eklemek yeterlidir. Bu kural yalnızca eğitim taramasını kapatır. ChatGPT aramasında görünmeye devam etmek için OAI-SearchBot’u ayrı bir grupta açık bırakmalısın.
- Sitenin kök dizinindeki robots.txt dosyasını aç.
- User-agent: GPTBot satırını ekle.
- Hemen altına Disallow: / kuralını yaz.
- Arama için OAI-SearchBot grubunu ayrıca Allow: / ile tanımla.
- Dosyayı yayınla ve en az 24 saat sonra loglardan kontrol et.
Çoğu hizmet ve içerik sitesi için önerdiğim başlangıç politikası, arama botlarını açık tutup eğitim botları için bilinçli bir karar vermek. Eğitim botlarını kapatmayı seçen bir sitenin robots.txt dosyası şöyle görünebilir: İlk grup arama ve atıf botlarını açar, ikinci grup eğitim botlarını ve belirteçlerini kapatır, üçüncü grup ise diğer tüm botlar için geçerlidir.
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /hesabim/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Disallow: /hesabim/
Sitemap: https://alanadi.com/sitemap-index.xml
Birden fazla User-agent satırını alt alta yazmak, hepsini tek bir grupta birleştirir. Google’ın dokümantasyonu da art arda gelen user agent satırlarının aynı grup olarak işlendiğini ve kuralın hepsine uygulandığını gösteriyor.[4] Bu sayede aynı kuralı her bot için tekrar yazman gerekmez.
Eğitime de izin vermek istiyorsan eğitim grubunu silmen yeterli. Genel * grubundaki Allow: / kuralı o botlar için de geçerli olur. Tersine, tüm yapay zekâ botlarını kapatmak istiyorsan arama botlarını da Disallow: / grubuna taşırsın; bu durumda o platformların cevaplarında kaynak olarak görünme şansını da kapatmış olursun.
robots.txt kuralları AI botları için nasıl yorumlanır?
Bir bot robots.txt’de yalnızca kendisine en uygun tek bir grubu izler ve diğer grupları tamamen yok sayar. Google’ın dokümantasyonuna göre tarayıcı, kendi adına en spesifik olarak uyan grubu seçer; grupların dosyadaki sırası önemli değildir.[4] Bu kural, en sık gördüğüm robots.txt hatasının kaynağı.
Yanlış varsayım
- GPTBot için ayrı grup yazınca * grubundaki kurallar da geçerli olur
- Kuralların sırası önceliği belirler
- Ana alan adındaki dosya alt alan adlarını da kapsar
- Google-Extended engellenince AI Overviews kapanır
Gerçekte olan
- Bot yalnızca kendi grubunu okur; ortak kuralları o gruba tekrar yazmak gerekir
- Grupların sırası önemsizdir, en spesifik user agent eşleşmesi kazanır
- Her alt alan adı, protokol ve port kendi robots.txt dosyasını ister
- AI Overviews, Googlebot ve snippet kontrolleriyle yönetilir
Yukarıdaki örnekte arama botları grubuna Disallow: /hesabim/ kuralını tekrar yazmamın nedeni bu. Ayrı bir grup tanımladığın anda o bot, * grubundaki hesap sayfası engelini artık görmez.
Google’ın teknik dokümantasyonunda bilmen gereken birkaç sınır daha var:[4]
- Boyut: Google, 500 KiB’den sonraki içeriği yok sayar. Bot listesini sınırsız uzatmak yerine kuralları dizin bazında topla.
- Kodlama: Dosya UTF-8 kodlu düz metin olmalı. Başka bir kodlamada Türkçe karakterli yollar geçersiz kalabilir.
- Önbellek: Google dosyayı genellikle 24 saate kadar önbellekte tutar. OpenAI de arama için değişikliğin yansımasının yaklaşık 24 saat sürebileceğini söylüyor.[1]
- Sunucu hataları: robots.txt 5xx hata döndürürse Google ilk 12 saat siteyi taramayı durdurur, sonra 30 gün boyunca son geçerli sürümü kullanır.
- Kapsam:
alanadi.com/robots.txtyalnızca aynı host, protokol ve port için geçerlidir;en.alanadi.comkendi dosyasını ister.
robots.txt AI botlarını durdurmak için yeterli mi?
robots.txt bir güvenlik önlemi değil, botun uymayı seçtiği bir ricadır. Belgelenmiş otomatik tarayıcılar kurallara uyduklarını söylüyor. Ancak kullanıcı tetiklemeli getiriciler ve kimliğini gizleyen botlar için robots.txt tek başına yeterli değil. Hassas içerik için kimlik doğrulama ya da sunucu tarafı erişim kontrolü gerekir.
Kararını uygularken üç katmanı birlikte düşün:
- Kimlik doğrulama: User agent bilgisi kolayca taklit edilebilir. OpenAI ve Perplexity, botlarının IP aralıklarını JSON dosyaları olarak yayımlıyor.[1][5] Logda
GPTBotyazan bir isteğin gerçekten OpenAI’den gelip gelmediğini bu aralıklarla doğrulayabilirsin. - CDN ve WAF: Cloudflare gibi katmanlardaki bot koruma kuralları, robots.txt izin verse bile botu kapıda durdurabilir. Perplexity, WAF kullanan sitelerin botlarına açıkça izin vermesi gerekebileceğini belirtiyor.[5] WAF (Web Application Firewall), web uygulamasına gelen istekleri kurallara göre süzen bir güvenlik duvarıdır.
- Yönetilen robots.txt: Cloudflare’in yönetilen robots.txt özelliği, eğitim botları için kuralları dosyana otomatik ekleyebiliyor. Bu özelliği kullanıyorsan yayındaki dosya, depodaki dosyadan farklı olabilir; kontrolü her zaman canlı adresten yap.
Content Signals ve AIPREF: yeni tercih sinyalleri
robots.txt “bu URL’ye girebilir mi?” sorusunu cevaplar ama “içeriği ne için kullanabilir?” sorusunu cevaplamaz. Bu boşluğu kapatmak için yeni sinyaller geliyor. Cloudflare’in Content Signals biçimi, içeriğin arama dizini (search), yapay zekâ cevabına girdi (ai-input) ve model eğitimi (ai-train) için kullanımını ayrı ayrı bildiriyor.
IETF’in aipref çalışma grubu da eğitim tercihi için ortak bir makine okunur sinyal üzerinde çalışıyor. AIPREF, bu grubun hazırladığı ve içeriğin yapay zekâ eğitiminde kullanılmasına dair tercihi bildiren taslak sinyalin adıdır. Anthropic, 30 Ekim 2026’dan itibaren bu taslağa dayanan “yapay zekâ eğitimi yok” sinyalini tanımaya başladığını duyurdu.[2] Google da bu ortak sinyali 2027’nin başında desteklemeyi planladığını belirtiyor.[3]
Anthropic’e göre robots.txt’de ClaudeBot’u adıyla anan bir kural, genel tercih sinyalinden daha spesifik sayılır ve önceliklidir.[2] Standartlar henüz oturmadığı için bugün en güvenilir yol, kararını hâlâ bot adlarıyla robots.txt’de açıkça yazmak.
Hangi AI botlarına izin vermeli?
Hangi botlara izin vereceğin, içeriğinin senin için nasıl para kazandırdığına bağlıdır. Ziyaretçiyi hizmet ya da ürün sayfasına getirmek isteyen bir site için arama botları görünürlük kanalıdır. İçeriğin kendisini satan bir yayıncı içinse eğitim ve hatta arama botları farklı bir hesap gerektirir.
| Site türü | Arama botları | Eğitim botları | Not |
|---|---|---|---|
| Hizmet sitesi, klinik, ajans | Açık | Bilinçli karar | Atıf, yeni hasta ve müşteri kanalı olabilir |
| E-ticaret | Açık | Bilinçli karar | Sepet, hesap ve filtre URL’lerini tüm botlara kapat |
| Ücretli içerik yayıncısı | Duruma göre | Genellikle kapalı | Lisans ve sözleşme konusu, hukuki görüş al |
| Dahili araç, test ortamı | Kapalı | Kapalı | robots.txt değil, kimlik doğrulama kullan |
Bu karar yalnızca robots.txt ile bitmiyor. Arama botlarına erişim verdikten sonra içeriğin alıntılanmaya değer olması gerekiyor; bunu SEO hizmetleri sayfasında anlattığım teknik ve içerik temeliyle kuruyorum. Ajanların siteni hızlı anlaması için llms.txt dosyası da ek bir adım olabilir; ama llms.txt erişim kuralı koymaz, robots.txt’nin yerine geçmez.
AI tarayıcıları için robots.txt nasıl test edilir?
robots.txt’yi test etmenin en güvenilir yolu, canlı dosyayı kontrol etmek ve ardından sunucu ya da CDN loglarında botların gerçekten nasıl davrandığına bakmaktır. Analitik araçları bu istekleri göstermez, çünkü botlar genellikle JavaScript çalıştırmaz. OpenAI, robots.txt isteklerinde user agent’a ayrı bir işaret ekleyebildiğini belirtiyor; bu, logda dosya isteklerini sayfa isteklerinden ayırmayı kolaylaştırıyor.[1]
Google Search Console’daki robots.txt raporu, Google’ın dosyanı en son ne zaman aldığını ve ayrıştırma hatalarını gösterir. Cloudflare’e göre Search Console, Content Signals gibi yeni yönergeler için “Söz dizimi anlaşılmadı” uyarısı verebiliyor. Cloudflare bunun tarama hızına bir etkisini gözlemlemediğini söylüyor.
Nereden başlamalı?
AI tarayıcılarını yönetmenin ilk adımı, mevcut robots.txt dosyanın bugün kimi engellediğini görmek. Ardından her şirket için arama ve eğitim kararını ayrı ayrı ver, ortak kuralları ayrı gruplara tekrar yaz ve CDN ayarlarını aynı kararla hizala. Son olarak bir gün sonra loglardan sonucu kontrol et.
Bu alan hızla değişiyor: yeni botlar ekleniyor, Content Signals ve AIPREF gibi tercih sinyalleri olgunlaşıyor. Bu yüzden bot listesini birkaç ayda bir resmi kaynaklardan yeniden doğrulamanı öneririm. Yapay zekâ görünürlüğünün içerik tarafını GEO nedir yazısında, bu işleri nasıl yürüttüğümü de hakkımda sayfasında bulabilirsin.
Bu yazıdaki terimler
- AI tarayıcısı
- AI tarayıcısı, yapay zekâ şirketlerinin web sayfalarını model eğitimi, yapay zekâ araması ya da kullanıcı sorusuna cevap üretmek için otomatik olarak indiren botudur. Her şirket bu işler için genellikle ayrı user agent adları kullanır.
- ClaudeBot
- ClaudeBot, Anthropic'in yapay zekâ modellerinin eğitimine katkı sağlayabilecek web içeriğini toplayan tarayıcısıdır. Engellendiğinde sitenin gelecekteki içerikleri eğitim veri setlerinden çıkarılır; arama için ayrı bir bot olan Claude-SearchBot kullanılır.
- Content Signals
- Content Signals, Cloudflare'in robots.txt içine eklediği ve içeriğin arama dizini, yapay zekâ cevabına girdi ve model eğitimi için kullanılıp kullanılamayacağını search, ai-input ve ai-train alanlarıyla bildiren makine okunur bir tercih biçimidir.
- Google-Extended
- Google-Extended, Google'ın taradığı içeriğin Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki grounding işleminde kullanılıp kullanılmayacağını yönetmeye yarayan bir robots.txt ürün belirtecidir. Ayrı bir bot değildir ve Google Arama'yı etkilemez.
- GPTBot
- GPTBot, OpenAI'nin üretken yapay zekâ temel modellerinin eğitiminde kullanılabilecek içeriği toplamak için çalıştırdığı tarayıcıdır. robots.txt'de engellenmesi, içeriğin eğitimde kullanılmaması isteğini bildirir; ChatGPT aramasındaki görünürlüğü etkilemez.
Sık sorulan sorular
GPTBot'u engellersem ChatGPT aramasında görünmez miyim?
Hayır. OpenAI'nin dokümantasyonuna göre GPTBot ve OAI-SearchBot birbirinden bağımsız ayarlardır. GPTBot'u engelleyip OAI-SearchBot'a izin veren bir site, içeriğinin eğitimde kullanılmamasını isterken ChatGPT arama sonuçlarında görünmeye devam edebilir.
Google-Extended AI Overviews'u engeller mi?
Hayır. Google'a göre Google-Extended, sitenin Google Arama'ya dahil edilmesini etkilemez ve sıralama sinyali değildir. AI Overviews Arama'nın parçası olduğu için oradaki görünürlüğü Googlebot kuralları ile nosnippet ve max-snippet gibi önizleme kontrolleri belirler.
AI botları robots.txt kurallarına uyar mı?
OpenAI, Anthropic ve Perplexity'nin otomatik tarayıcıları robots.txt'ye uyduklarını belgeliyor. Kullanıcının isteğiyle sayfa açan ChatGPT-User ve Perplexity-User gibi getiriciler için ise robots.txt kurallarının uygulanmayabileceğini kendi dokümanlarında belirtiyorlar. robots.txt bir rica dosyasıdır; güvenlik önlemi değildir.
ClaudeBot nasıl engellenir?
Sitenin kök dizinindeki robots.txt dosyasına User-agent: ClaudeBot satırını ve altına Disallow: / kuralını eklemek yeterlidir. Anthropic, bunun her alt alan adı için ayrı yapılması gerektiğini ve IP engellemenin robots.txt'nin okunmasını engellediği için güvenilir bir yol olmadığını belirtiyor.
robots.txt değişikliği ne kadar sürede etkili olur?
Google robots.txt içeriğini genellikle 24 saate kadar önbellekte tutar. OpenAI de arama sonuçları için robots.txt güncellemesinin sistemlerine yansımasının yaklaşık 24 saat sürebileceğini söylüyor. Değişikliği yaptıktan sonra en az bir gün beklemek gerekir.
Kaynaklar
Konunun tamamı: GEO rehberi ↗ · Teknik SEO rehberi ↗