Sunucu günlüğünde AI botlarını takip etmek: gerçekten geliyorlar mı?

robots.txt'te GPTBot'a izin verdiniz. Peki gerçekten geliyor mu? Bunu tahmin etmenize gerek yok — sunucu günlüğünüzde yazıyor.

İzin vermek bir şey, ziyaret edilmek başka şey.

Aradaki farkı gösteren tek yer erişim günlüğü (access log). Orada her isteğin tarihi, adresi ve isteği yapanın kimliği durur. On dakikalık bir işle "hangi yapay zeka botu, ne zaman, hangi sayfalarıma baktı" sorusunun kesin cevabını alırsınız — tahmine gerek kalmadan.

Günlük dosyası nerede?

Paylaşımlı hostingdeyseniz kontrol panelinde "Erişim Günlükleri" ya da "Raw Access Logs" başlığı altında. cPanel'de Metrics bölümünde, Plesk'te Websites & Domains altında, hPanel'de Gelişmiş menüsünde. Dosyayı indirin; sıkıştırılmış geliyorsa açın.

Kendi sunucunuz varsa yol genellikle şudur:

/var/log/nginx/access.log
/var/log/apache2/access.log

Aradığınız satır neye benziyor?

Tipik bir GPTBot ziyareti şöyle görünür:

20.171.207.14 - - [12/Aug/2026:04:17:22 +0300] "GET /blog/geo-nedir HTTP/1.1"
200 48211 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko);
compatible; GPTBot/1.2; +https://openai.com/gptbot"

Sondaki uzun metin user-agent. Botları oradan ayırt edersiniz.

Aramanız gereken altı ad:

• GPTBot — OpenAI'nin eğitim/tarama botu
• OAI-SearchBot — ChatGPT'nin arama tarafı
• ChatGPT-User — kullanıcı bir bağlantıya tıkladığında anlık gelen istek
• ClaudeBot ve Claude-Web
• PerplexityBot
• Google-Extended — robots.txt'te tanınır ama günlükte ayrı bir ad olarak nadiren görünür

Sayma

Sunucuya SSH ile bağlanabiliyorsanız tek satır yeter:

grep -c "GPTBot" access.log

Hepsini birden dökmek için:

grep -oiE "GPTBot|ClaudeBot|PerplexityBot|OAI-SearchBot|ChatGPT-User" access.log \
  | sort | uniq -c | sort -rn

Çıktı şuna benzer:

   412 GPTBot
   188 ClaudeBot
    97 PerplexityBot
    23 ChatGPT-User

SSH yoksa dosyayı indirip metin düzenleyicide aramak da aynı sonucu verir. Sadece daha yavaş.

Hangi sayfalara baktığını görmek

grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Bu liste bazen can sıkıcı olur. 400 isteğin 300'ünü etiket arşivlerinde, sayfalama adreslerinde ve filtre parametreli kopya sayfalarda harcamış bir bot görürsünüz; asıl içeriğinize hiç uğramamıştır.

O zaman robots.txt'te dizin bazında yönlendirme yapmanın vakti gelmiş demektir.

Kimlik doğrulama: taklitçiler var

User-agent serbest metindir. Herkes kendine "GPTBot" diyebilir — ve bazıları diyor. Gerçek olup olmadığı yalnızca IP'den anlaşılır.

OpenAI, Anthropic ve Perplexity kendi IP aralıklarını herkese açık JSON dosyalarında yayımlar. Günlükteki IP o listede yoksa o istek onlardan gelmemiştir. Analizinizi kirletmemesi için ayıklayın.

Hızlı bir sağlama: ters DNS sorgusu.

host 20.171.207.14

Gerçek bir bot IP'si sahibine ait bir alan adına çözülür. Rastgele bir hosting sağlayıcısına çözülüyorsa şüphelenin.

Bu veriyle ne yaparsınız?

Üç şey.

1. Sıfır ziyaret varsa — robots.txt'iniz izin veriyor ama bot hiç gelmiyorsa, sorun erişimde değil keşifte olabilir. Sitemap gönderilmemiş, iç bağlantı yapısı zayıf ya da site çok yeni olabilir.
2. Ziyaret var ama 4xx/5xx dönüyorsa — bot geliyor, kapıyı kapalı buluyor. Günlükteki durum kodu sütununa bakın; 200 dışında bir şey görüyorsanız düzeltilecek somut bir hata var demektir.
3. Yanlış sayfalara gidiyorsa — tarama bütçesi çöp adreslerde harcanıyor. Filtre ve sayfalama adreslerini kapatın, sitemap'i temizleyin.

Sık sorulan sorular

Günlükler ne kadar geriye gidiyor?

Çoğu paylaşımlı hostingde 7 ile 30 gün arasında; sonra otomatik siliniyor. Uzun vadeli takip yapacaksanız her ayın başında indirip saklayın.

Yoksa altı ay sonra "geçen çeyrek ne olmuş" diye baktığınızda elinizde hiçbir şey olmaz.

Botun sık gelmesi iyi bir şey mi?

Genelde evet, ama tek başına bir başarı ölçüsü değil. Bot gelir, okur, hiçbir cevapta sizi anmayabilir. Ziyaret sayısı "kapı açık" demektir; "içeri girdi ve beğendi" demek değildir.

Botlar sunucumu yorar mı?

Küçük ve orta ölçekli sitelerde fark edilir bir yük oluşturmaz. 50.000 ürünlük bir katalogda yoğun tarama sorun olabilir; o durumda robots.txt içinde Crawl-delay denemek yerine sunucu tarafında hız sınırı koymak daha güvenilir, çünkü Crawl-delay her bot tarafından dikkate alınmıyor.

Cloudflare kullanıyorum, günlükleri nasıl görürüm?

Origin sunucunuzun günlüğü yine çalışır ama IP'ler Cloudflare'ınki görünür; gerçek IP CF-Connecting-IP başlığındadır. Cloudflare panelinden bot analitiğine de bakabilirsiniz, orada yapay zeka botları ayrı kategorilenmiş hâlde gelir.

Devamı: Günlükte bot göremiyorsanız ilk bakılacak yer izin dosyasıdır — robots.txt AI erişim kontrolü dört botun durumunu tek ekranda gösterir.