Robots.txt Nedir? Ne İşe Yarar?
Robots.txt dosyası, web sitenizin hangi bölümlerinin arama motorları tarafından taranabileceğini veya taranamayacağını belirleyen bir metin dosyasıdır. Temel amacı, web sitenizdeki verilerin nasıl ve ne zaman taranacağını kontrol etmektir. Özellikle büyük web sitelerinde, belirli alanların taranmasını engelleyerek sunucu yükünü azaltma ve gizli içeriğin endekslenmesini önleme gibi önemli bir rol oynar.