robots.txt ile yapay zeka botlarına izin verme rehberi

GEO çalışmalarının en teknik ama en hızlı sonuç veren adımı budur: robots.txt. Tek bir satır yanlış yazıldığında siteniz bir yapay zeka motoru için tamamen görünmez hâle gelebilir — ve bunu fark etmeniz aylar sürebilir.

robots.txt tam olarak nedir?

Sitenizin kök dizininde duran, düz metin bir dosyadır: https://siteniz.com/robots.txt. Botlara "şuraya girebilirsin, şuraya giremezsin" der. Bir zorlama değil, bir ricadır; ama büyük sağlayıcıların botları bu ricaya uyar.

Takip etmeniz gereken dört bot

• GPTBot — OpenAI. ChatGPT'nin içerik toplayan botu.
• ClaudeBot — Anthropic. Claude'un tarayıcısı.
• PerplexityBot — Perplexity. Cevaplarında kaynak gösterir.
• Google-Extended — Google'ın yapay zeka ürünleri için ayrı izin belirteci.

Önemli ayrım: Google-Extended'i engellemek, Googlebot'u engellemek değildir. Klasik Google aramasındaki sıralamanız etkilenmez; yalnızca Google'ın yapay zeka ürünlerinde içeriğinizin kullanımı kısıtlanır.

Hepsine izin veren temiz bir örnek

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://siteniz.com/sitemap.xml

En sık yapılan üç hata

1. Genel engelin farkında olmamak

Dosyanın başında şöyle bir blok varsa:

User-agent: *
Disallow: /

Bu, adı ayrıca geçmeyen tüm botları engeller. Aşağıya tek tek izin satırları eklemek çoğu durumda yeterlidir, çünkü botlar kendi adlarına yazılmış bloğu öncelikli sayar — ama bu bloğun gerçekten var olduğundan emin olun.

2. Sunucu seviyesindeki engeli görmemek

Bu, en çok yanıltan durumdur. robots.txt dosyanız tertemiz olabilir; ama CDN veya güvenlik duvarı ayarlarınızda "yapay zeka botlarını engelle" seçeneği açıksa, bot dosyayı okumaya bile fırsat bulamadan 403 yer.

robots.txt'niz "buyurun girin" derken sunucunuz kapıyı kapatıyor olabilir. Bu ikisi farklı katmanlardır ve ayrı ayrı kontrol edilmeleri gerekir.

3. Sitemap satırını unutmak

Dosyanın sonuna eklenen tek bir Sitemap: satırı, botun sitenizdeki tüm sayfaları bulmasını kolaylaştırır. Maliyeti sıfır, faydası yüksektir.

Peki ya llms.txt?

Son dönemde llms.txt adında bir öneri dolaşıyor. Dürüst değerlendirme: henüz büyük sağlayıcıların hiçbiri tarafından resmî olarak kullanılan bir standart değil. Eklemek zarar vermez, hatta ileride işe yarayabilir; ancak "llms.txt ekledim, artık ChatGPT beni tanıyor" gibi bir beklenti gerçekçi değildir. Önceliğiniz robots.txt ve yapılandırılmış veri olmalı.

Değişikliği nasıl doğrularsınız?

Dosyayı güncelledikten sonra tarayıcınızdan siteniz.com/robots.txt adresini açıp içeriği gözle görün. Sonra bir tarama aracıyla dört botun da erişebildiğini doğrulayın — kendi gözünüzle gördüğünüz şey ile botun gördüğü şey her zaman aynı olmayabilir.

Karar verirken ne düşünmeli?

Bu teknik değil, ticari bir karardır. İki uçtaki gerçek sonuç şudur:

• İzin verirseniz: içeriğiniz eğitim ve cevap üretiminde kullanılabilir, karşılığında markanız cevaplarda anılabilir. Tıklama gelmeyebilir; görünürlük gelir.
• Engellerseniz: içeriğiniz o ürüne girmez, ama o ürünün cevaplarında da yer almazsınız. Rakibiniz izin veriyorsa cevap ona kalır.

Yayıncılık yapıyorsanız ve gelir modeliniz doğrudan sayfa görüntülemeye bağlıysa engelleme savunulabilir. Hizmet ya da ürün satıyorsanız, anılmamak neredeyse her zaman daha pahalıdır.

Sık sorulan sorular

Google-Extended'ı engellersem arama sıralamam düşer mi?

Hayır. Google-Extended yalnızca Google'ın yapay zeka ürünleri için bir izin anahtarıdır; klasik arama taraması Googlebot ile yapılır ve ondan tamamen bağımsızdır.

robots.txt yasal olarak bağlayıcı mı?

Değil. Gönüllü bir protokoldür. Büyük ve kurumsal botlar uyar; kötü niyetli tarayıcılar uymaz. Gerçekten erişimi kesmek istiyorsanız sunucu düzeyinde engelleme (user-agent veya IP bazlı) gerekir.

Bir kısmına izin verip bir kısmına vermek mümkün mü?

Evet, ve genellikle en makul yol budur. Bot bazında ayrı bloklar yazıp dizin düzeyinde izin verebilirsiniz: örneğin blogunuz açık, fiyat listeniz kapalı olabilir.

Değişiklik ne kadar sürede etkili olur?

Dosya anında güncellenir, ancak botlar robots.txt'i önbelleğe alır. Genellikle birkaç saat ile birkaç gün arasında yeni kurallara göre davranmaya başlarlar.