Anasayfa / Etiket Arşivi: Robots

Etiket Arşivi: Robots

Reklamlar

Robots.txt nedir nasıl oluşturulur

robotstxt nedir

Robots.txt , arama motorları sitenizi tararken nasıl davranması gerektiğini düzenleyebileceğiniz, sitenizde erişmesini istemediğiniz yerleri gösterdiğiniz, sitenin kök dizinine atılan bir metin metin dosyasıdır. Robots,txt , küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı‘nı kullanır. Daha basit bir ifade ile ...

Devamını Oku »