"robots.txt tarafından engellendi" hatası: hangi kural engelliyor?

"robots.txt tarafından engellendi" uyarısı gördüğünüzde ilk soru şu olmalı: bu engel bilerek mi konuldu? Yarısında cevap evet çıkıyor ve düzeltilecek bir şey yok.

Search Console bu satırı bir hata gibi gösterir ama aslında bir bildirimdir: "sen kapattın, ben de girmedim." Panel sayfaları, sepet, arama sonuçları, yönetim dizini — bunların engellenmesi doğrudur ve öyle kalmalıdır.

Sorun, engellenmemesi gereken bir sayfa listede görününce başlıyor.

Hangi kural engelliyor?

Search Console adresi söyler, kuralı söylemez. Bulmak için:

1. https://siteniz.com/robots.txt adresini açın.
2. Engellenen adresin yolunu (örneğin /urun/abc) dosyadaki Disallow satırlarıyla karşılaştırın.
3. Eşleşme ön ek mantığıyla çalışır: Disallow: /urun yazıyorsa /urunler de engellidir.

Bir tuzak var: bir bot için özel blok varsa, o bot User-agent: * bloğunu hiç okumaz. Genel blokta izin verip özel blokta yasak bırakmak en sık gözden kaçan durumdur.

User-agent: *
Allow: /

User-agent: Googlebot
Disallow: /urun/

Yukarıdaki dosyada site herkese açık görünüyor. Googlebot için ürün dizini kapalı.

En sık dört sebep

1. WordPress'in "indeksleme engelle" kutusu

Ayarlar → Okuma altındaki "Arama motorlarının bu siteyi dizine eklemesini engelle" kutusu. Geliştirme sırasında işaretlenip yayına alınırken unutuluyor. Canlı sitelerde gördüğümüz en yaygın tek sebep bu.

2. Test/staging kopyasından taşınan dosya

Test ortamında Disallow: / ile korunan site, canlıya taşınırken robots.txt'i de beraberinde götürüyor. Taşıma sonrası ilk kontrol edilecek dosyalardan biri.

3. Güvenlik eklentisi

Bazı güvenlik eklentileri kendi kurallarını ekler ve /wp-content/uploads/ gibi dizinleri kapatır. Görselleriniz o dizinde duruyorsa Google Görseller'den tamamen düşersiniz.

4. Fazla geniş yazılmış kural

Disallow: /p yazmak isterken tüm /panel, /proje, /portfoyum yollarını kapatmak. Ön ek mantığı burada acımasız.

CSS ve JS engellemeyin

Eskiden yaygın bir alışkanlıktı: Disallow: /wp-includes/, Disallow: /assets/. Bugün zararlı.

Google sayfayı görsel olarak da değerlendiriyor; stil ve betik dosyalarını göremezse sayfanızı bozuk hâliyle görür. Mobil uyumluluk değerlendirmesi de bundan etkilenir. Bu iki satırı dosyanızda görüyorsanız kaldırın.

Düzelttikten sonra

Dosya anında güncellenir ama botlar robots.txt'i önbelleğe alır; yeni kurala göre davranmaları genellikle birkaç saat ile birkaç gün sürer.

Hızlandırmak için Search Console'da URL denetimi yapıp "Dizine eklenmeyi iste" diyebilirsiniz. Bu, robots.txt'in yeniden okunmasını da tetikler.

Bir de AI botları tarafı

robots.txt'te yalnızca Googlebot yok. GPTBot, ClaudeBot, PerplexityBot ve Google-Extended ayrı ayrı adreslenir ve çoğu sitede bunlar için hiçbir kural yazılı değildir.

Kural yoksa botlar serbest sayar. Yani bilinçli bir karar vermediyseniz varsayılan "açık"tır. Bunu bilerek bırakmak da bir tercih; ama farkında olmadan bırakmak tercih değil.

Sık sorulan sorular

robots.txt dosyam yok, sorun mu?

Hayır. 404 dönmesi "her yer serbest" anlamına gelir ve çalışır. Asıl tehlike dosyanın 500 gibi bir sunucu hatası döndürmesidir — o durumda botlar siteyi tamamen kapalı saymak zorundadır.

Engellediğim sayfa neden hâlâ Google'da çıkıyor?

robots.txt taramayı engeller, dizine eklemeyi değil. Başka sitelerden bağlantı alan bir adres, içeriği okunmadan da listelenebilir. Gerçekten çıkmasını istiyorsanız sayfayı taramaya açın ve noindex etiketi koyun — engelliyken noindex'i göremez.

Bir dizini kapatıp içindeki tek bir sayfayı açabilir miyim?

Evet, Allow ile. Daha uzun ve daha belirgin kural kazanır:

User-agent: *
Disallow: /rapor/
Allow: /rapor/ornek-rapor

Kuralları test edebileceğim bir yer var mı?

Search Console'un robots.txt raporu dosyanın son okunan hâlini gösterir. Bot bazında hangi adresin açık hangisinin kapalı olduğunu görmek için robots.txt AI erişim kontrolümüz dört ana yapay zeka botunu tek ekranda değerlendirir.

Devamı: Dosyanız düzgünse ama sayfa yine indekslenmiyorsa, sorun büyük ihtimalle keşif tarafındadır — "Keşfedildi – şu anda dizine eklenmedi" yazısına bakın.