robots.txt ile yapay zeka botlarına izin verme rehberi

GEO çalışmalarının en teknik ama en hızlı sonuç veren adımı budur: robots.txt. Tek bir satır yanlış yazıldığında siteniz bir yapay zeka motoru için tamamen görünmez hâle gelebilir — ve bunu fark etmeniz aylar sürebilir.

robots.txt tam olarak nedir?

Sitenizin kök dizininde duran, düz metin bir dosyadır: https://siteniz.com/robots.txt. Botlara "şuraya girebilirsin, şuraya giremezsin" der. Bir zorlama değil, bir ricadır; ama büyük sağlayıcıların botları bu ricaya uyar.

Takip etmeniz gereken dört bot

• GPTBot — OpenAI. ChatGPT'nin içerik toplayan botu.
• ClaudeBot — Anthropic. Claude'un tarayıcısı.
• PerplexityBot — Perplexity. Cevaplarında kaynak gösterir.
• Google-Extended — Google'ın yapay zeka ürünleri için ayrı izin belirteci.

Önemli ayrım: Google-Extended'i engellemek, Googlebot'u engellemek değildir. Klasik Google aramasındaki sıralamanız etkilenmez; yalnızca Google'ın yapay zeka ürünlerinde içeriğinizin kullanımı kısıtlanır.

Hepsine izin veren temiz bir örnek

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://siteniz.com/sitemap.xml

En sık yapılan üç hata

1. Genel engelin farkında olmamak

Dosyanın başında şöyle bir blok varsa:

User-agent: *
Disallow: /

Bu, adı ayrıca geçmeyen tüm botları engeller. Aşağıya tek tek izin satırları eklemek çoğu durumda yeterlidir, çünkü botlar kendi adlarına yazılmış bloğu öncelikli sayar — ama bu bloğun gerçekten var olduğundan emin olun.

2. Sunucu seviyesindeki engeli görmemek

Bu, en çok yanıltan durumdur. robots.txt dosyanız tertemiz olabilir; ama CDN veya güvenlik duvarı ayarlarınızda "yapay zeka botlarını engelle" seçeneği açıksa, bot dosyayı okumaya bile fırsat bulamadan 403 yer.

robots.txt'niz "buyurun girin" derken sunucunuz kapıyı kapatıyor olabilir. Bu ikisi farklı katmanlardır ve ayrı ayrı kontrol edilmeleri gerekir.

3. Sitemap satırını unutmak

Dosyanın sonuna eklenen tek bir Sitemap: satırı, botun sitenizdeki tüm sayfaları bulmasını kolaylaştırır. Maliyeti sıfır, faydası yüksektir.

Peki ya llms.txt?

Son dönemde llms.txt adında bir öneri dolaşıyor. Dürüst değerlendirme: henüz büyük sağlayıcıların hiçbiri tarafından resmî olarak kullanılan bir standart değil. Eklemek zarar vermez, hatta ileride işe yarayabilir; ancak "llms.txt ekledim, artık ChatGPT beni tanıyor" gibi bir beklenti gerçekçi değildir. Önceliğiniz robots.txt ve yapılandırılmış veri olmalı.

Değişikliği nasıl doğrularsınız?

Dosyayı güncelledikten sonra tarayıcınızdan siteniz.com/robots.txt adresini açıp içeriği gözle görün. Sonra bir tarama aracıyla dört botun da erişebildiğini doğrulayın — kendi gözünüzle gördüğünüz şey ile botun gördüğü şey her zaman aynı olmayabilir.