Sitenizin Google, Yandex, Yahoo, Duckduckgo gibi arama motorları tarafından listelenmesini- indexlenmesini istemiyorsanız, robots.txt dosyasını düzenleyerek bu işlemi yapabilirsiniz. Peki nedir bu Robots dosyası ne işe yarar ?
robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.
Sitenizin tüm sayfalarını Google aramalarından gizlemek istiyorsanız robots dosyanızı aşağıdaki gibi düzenleyebilirsiniz.
User-agent: Googlebot
Disallow: /seo
Aram motorlarının belirli dosyaları indexlemesini engellemek istiyorsanız aşağıdaki kodu kullanabilirsiniz. Örneğin jpg uzantılı resimlerin listelenmesini engellemek için aşağıdaki kodu kullanabilirsiniz.
User-agent: Googlebot
Disallow: /*.jpg$
Sitenizin farklı sitelerde yayınlanan içeriklerini engellemek için aşağıdaki kodu kullanabilirsiniz. Örneğin: Benzer domain adresi gibi yayın yapan fakat içeriğinin sizinle bağlantısı olmayan birçok site için bu işlemi kullanabilirsiniz.
User-agent: Googlebot
Disallow: /*?
Kaynağını bilmediğiniz sitelerin arama motorları tarafından listelenmesini engellemek için aşağıdaki işlemi yapabilrisiniz. siteadi.com/search/web adresini engellemek için aşağıdaki kodu kullanabilirsiniz.
User-agent: Googlebot
Disallow: /siteadi.com/search/web
Bunun haricinde index almasını engellemek istediğiniz tüm sayfaların <head> kodları arasına;
<meta name=”robots” content=”noindex, nofollow” /> Kodunu yapıştırarak bu sayfaların arama motorları tarafından index almasını tamamen kapatabilirsiniz.
Sitenizde bu işlemleri yaptıktan sonra, sayfalarınızın kaldırılması yaklaşık 1 hafta 10 gün arasında süre alacaktır. Eğer listelenmiş sayfalarınızın sayısı çok fazlaysa bu işlem daha da uzayabilir. İşlem için en mantıklı yöntem, sitenizi oluştururken en sonda kodlarını paylaştığımız nofollow komutlarını kullanmak olacaktır. Bunun haricindeki sorularınız için bizlere yorumlarınızı gönderebilirsiniz.
Akıllı telefonlarımız artık hayatımızın birer parçası. Ancak ne kadar güçlü ve yeni bir telefon kullanırsak…
VMware Snapshot özelliği, bir sanal makinenin belirli bir andaki durumunu koruyarak ihtiyaç halinde hızlı geri…
Ücretsiz ve Ücretli Seçeneklerle En Güncel Rehber Günümüzde sunum hazırlamak artık saatler süren bir süreç…
Telefonla konuşurken başka bir kişinin aradığını görmek günümüzde akıllı telefonların sunduğu en önemli iletişim özelliklerinden…
2024 yılında Broadcom tarafından tamamlanan satın alma sürecinin ardından VMware’in lisanslama stratejisinde köklü değişiklikler yapıldı.…
Telefon rehberinizde yer alan bazı numaraları silmek istediğinizde “salt okunur kişi silinemez”, “bu kişi düzenlenemez”…