Robots.txt Nedir ? Robots.txt dosyası sitenizin taranacak(indexlenecek) bölümlerin tanımlanmasına yardımcı olur. Öncelikle bu dosya google ve botları için bir klavuz…