robots.txt AI bot kontrolü nasıl yapılır? (adım adım + ücretsiz araç)

Yapay zeka arama motorlarında görünmek isteyen bir site için ilk soru "içeriğim iyi mi" değildir: bot içeri girebiliyor mu? Girmiyorsa geri kalan her şey anlamsızdır. Bu yazı, robots.txt dosyanızı AI botları açısından nasıl okuyacağınızı ve kontrol edeceğinizi anlatıyor.

robots.txt neden AI görünürlüğünün ilk halkası?

ChatGPT, Claude, Perplexity ve Gemini gibi motorlar, bir soruya cevap verirken kaynak olarak gerçek web sayfalarını kullanır. O sayfalara ulaşmak için kendi tarayıcı botlarını gönderirler ve bu botlar, sitenizin kökündeki robots.txt dosyasına bakar. Dosyada kendilerini engelleyen bir satır görürlerse çekilirler — içeriğiniz ne kadar iyi olursa olsun.

Buradaki en sinsi kısım şudur: engelleme genellikle kasıtlı değildir. Bir güvenlik eklentisi, bir CDN ayarı veya yıllar önce eklenmiş bir Disallow satırı bunu sessizce yapar. Kimse size haber vermez; sadece yapay zeka cevaplarında hiç görünmezsiniz.

Takip etmeniz gereken dört bot

• GPTBot — OpenAI'ın içerik toplayan botu (ChatGPT).
• ClaudeBot — Anthropic'in tarayıcısı (Claude).
• PerplexityBot — Perplexity; cevaplarında kaynak bağlantısı gösterdiği için trafik de getirir.
• Google-Extended — Google'ın yapay zeka ürünleri için ayrı izin anahtarı. Not: bu satır Google'ın normal arama taramasını etkilemez, yalnızca AI kullanımını kapsar.

Dosyayı elle nasıl okursunuz?

Tarayıcınızda https://siteniz.com/robots.txt adresini açın. Kurallar bloklar hâlinde okunur: bir User-agent satırı ve altındaki kurallar o bota aittir.

User-agent: *
Disallow: /wp-admin/

User-agent: GPTBot
Disallow: /

Yukarıdaki örnekte site genel olarak açıktır ama GPTBot tamamen engellenmiştir. Yani ChatGPT sitenizi okuyamaz. Sıklıkla karşılaştığımız üç hatalı kalıp:

1. Kök engeli: Disallow: / — botun tüm siteye erişimini kapatır.
2. Yanlış blok: Kurallar User-agent satırının altında olmalıdır; araya boş satır girerse blok kopar ve kural başka bir bota geçer.
3. Dosyanın hiç olmaması: Sunucu 404 yerine 5xx döndürüyorsa, standart (RFC 9309) gereği botlar siteyi tamamen kapalı saymak zorundadır. "Dosya yok, o zaman serbesttir" varsayımı burada yanlıştır.

İzin vermek istiyorsanız doğru yazım

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://siteniz.com/sitemap.xml

Belirli klasörleri kapalı tutmak isterseniz genel yasak yerine hedefli yazın: Disallow: /panel/ gibi. "Her şeyi kapat, birkaç şeyi aç" yaklaşımı, sıralama karmaşası yüzünden çoğu zaman istemediğiniz sonucu verir.

Saniyeler içinde test etmek

Elle okumak öğreticidir ama hata yapmaya çok açıktır: kural sıralaması, joker karakterler ve büyük/küçük harf duyarlılığı gözden kaçar. Robots.txt AI Kontrolü aracımız dosyanızı indirir, dört botun kurallarını ayrı ayrı değerlendirir ve her biri için "erişebiliyor / engelleniyor" sonucunu gerekçesiyle gösterir. Üyelik gerekmez, sonuç birkaç saniyede gelir.

Araç ayrıca dosyanın gerçekten düz metin mi yoksa yanlışlıkla HTML sayfası mı döndüğünü de kontrol eder — tek sayfalık uygulamalarda (SPA) sık görülen ve fark edilmesi zor bir hatadır.

Sık sorulan sorular

robots.txt'te AI botlarını engellersem Google sıralamam düşer mi?

Hayır. Google-Extended, Google'ın yapay zeka ürünleri için ayrı bir izin anahtarıdır; klasik arama taraması Googlebot ile yapılır ve ondan bağımsızdır. Ancak Disallow: / gibi genel bir yasak yazarsanız, o zaman gerçekten arama sıralamanız da etkilenir.

robots.txt dosyam yok, sorun olur mu?

Dosyanın hiç olmaması (404) genellikle "her yer serbest" anlamına gelir ve çalışır. Asıl tehlike, sunucunun 500/503 gibi bir hata döndürmesidir: bu durumda botlar siteyi tamamen kapalı saymak zorundadır.

Değişiklik ne kadar sürede etkili olur?

Dosya anında güncellenir, ancak botlar robots.txt'i önbelleğe alır. Genellikle birkaç saat ile birkaç gün arasında yeni kurallara göre davranmaya başlarlar.

Botun gerçekten girip girmediğini nasıl anlarım?

Sunucu erişim kayıtlarınızda (access log) bot adını aratabilirsiniz. Daha pratik yol, aracımızın yaptığı gibi kuralları bot bazında değerlendirmektir; ayrıca içerik yapısı analizi ile botun sayfanızda ne gördüğünü de kontrol edebilirsiniz.

Adım adım kontrol listesi

1. Dosyayı açın. https://siteniz.com/robots.txt adresine gidin. Sayfa açılmıyorsa (5xx hatası) önce sunucu sorununu çözün — bu durumda botlar siteyi tamamen kapalı sayar.
2. Genel bloğu okuyun. User-agent: * altında Disallow: / varsa siteniz tüm botlara kapalıdır.
3. Dört botu tek tek arayın. GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Adı geçen her bot için altındaki kuralları okuyun.
4. Sıralamaya dikkat edin. Bir bot için özel blok varsa, o bot * bloğunu hiç okumaz. "Genelde açık ama GPTBot bloğunda yasak var" durumu bu yüzden gözden kaçar.
5. Sitemap satırını doğrulayın. Sitemap: https://siteniz.com/sitemap.xml satırı var mı, adres doğru mu?
6. Değişiklikten sonra tekrar test edin. Önbellek yüzünden botlar birkaç gün eski kuralla davranabilir; dosyanın kendisi ise anında güncellenir.

WordPress kullanıyorsanız dikkat

WordPress varsayılan olarak sanal bir robots.txt üretir — sunucuda gerçek bir dosya yoktur. Yoast, Rank Math veya bir güvenlik eklentisi bu çıktıyı değiştirebilir. Kök dizine elle bir robots.txt koyarsanız sanal olan devre dışı kalır ve o dosya geçerli olur. İki yerde birden kural tutmayın; hangisinin geçerli olduğunu bilmek zorlaşır.

Ayrıca "Arama motorlarının siteyi indekslemesini engelle" ayarı (Ayarlar → Okuma) açıksa WordPress tüm botları engelleyen bir çıktı üretir. Test/geliştirme sırasında açılıp kapatılması unutulan bu kutu, canlı sitelerde en sık rastladığımız görünmezlik sebebidir.

Ne sıklıkla kontrol etmelisiniz?

Ayda bir yeterlidir. Ancak şu üç durumda hemen kontrol edin: sunucu/hosting değişikliği, yeni bir güvenlik veya SEO eklentisi kurulumu, site yeniden tasarımı. Bu üçü robots.txt'i sessizce değiştiren en yaygın olaylardır.

Bir sonraki adım: robots.txt tarafı temizse sıra sitenizin anlaşılabilirliğinde. Şema doğrulayıcı ile yapılandırılmış verinizi, sitemap kontrolcüsü ile adres listenizi denetleyin.