Robots.txt Nedir?
Arama motoru botlarına sitenin hangi bölümlerini tarayabileceğini bildiren kök dizin dosyası.
Detaylı Açıklama
Robots.txt, bir sitenin kök dizininde (örn. site.com/robots.txt) bulunan ve arama motoru botlarına hangi URL'leri tarayabileceğini/tarayamayacağını bildiren metin dosyasıdır. "Disallow" ile gereksiz veya özel bölümler (yönetim paneli, arama sonuç sayfaları, parametreli URL'ler) taramadan hariç tutularak crawl budget korunur. Önemli not: robots.txt taramayı engeller ama indekslemeyi garantili engellemez; bir sayfayı dizinden çıkarmak için "noindex" meta etiketi kullanılmalıdır. Yanlış bir Disallow kuralı tüm sitenin taranmasını durdurabileceği için dikkatle yönetilmelidir. Sitemap referansı da burada belirtilir.
Bu Terimi Sitenize Uygulayalım
Robots.txt ile ilgili sitenizdeki uygulamayı uzman ekibimizden değerlendirelim. Ücretsiz SEO analizi alın.
Ücretsiz SEO Analizi