Sitenizin Google, Yandex, Yahoo, Duckduckgo gibi arama motorları tarafından listelenmesini- indexlenmesini istemiyorsanız, robots.txt dosyasını düzenleyerek bu işlemi yapabilirsiniz. Peki nedir bu Robots dosyası ne işe yarar ?
robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.
Sitenizin tüm sayfalarını Google aramalarından gizlemek istiyorsanız robots dosyanızı aşağıdaki gibi düzenleyebilirsiniz.
User-agent: Googlebot
Disallow: /seo
Aram motorlarının belirli dosyaları indexlemesini engellemek istiyorsanız aşağıdaki kodu kullanabilirsiniz. Örneğin jpg uzantılı resimlerin listelenmesini engellemek için aşağıdaki kodu kullanabilirsiniz.
User-agent: Googlebot
Disallow: /*.jpg$
Sitenizin farklı sitelerde yayınlanan içeriklerini engellemek için aşağıdaki kodu kullanabilirsiniz. Örneğin: Benzer domain adresi gibi yayın yapan fakat içeriğinin sizinle bağlantısı olmayan birçok site için bu işlemi kullanabilirsiniz.
User-agent: Googlebot
Disallow: /*?
Kaynağını bilmediğiniz sitelerin arama motorları tarafından listelenmesini engellemek için aşağıdaki işlemi yapabilrisiniz. siteadi.com/search/web adresini engellemek için aşağıdaki kodu kullanabilirsiniz.
User-agent: Googlebot
Disallow: /siteadi.com/search/web
Bunun haricinde index almasını engellemek istediğiniz tüm sayfaların <head> kodları arasına;
<meta name=”robots” content=”noindex, nofollow” /> Kodunu yapıştırarak bu sayfaların arama motorları tarafından index almasını tamamen kapatabilirsiniz.
Sitenizde bu işlemleri yaptıktan sonra, sayfalarınızın kaldırılması yaklaşık 1 hafta 10 gün arasında süre alacaktır. Eğer listelenmiş sayfalarınızın sayısı çok fazlaysa bu işlem daha da uzayabilir. İşlem için en mantıklı yöntem, sitenizi oluştururken en sonda kodlarını paylaştığımız nofollow komutlarını kullanmak olacaktır. Bunun haricindeki sorularınız için bizlere yorumlarınızı gönderebilirsiniz.
e-Devlet Kapısı, vatandaşların kamu kurumlarına ait pek çok hizmete tek noktadan, hızlı ve güvenli biçimde…
Yapay zekâ (AI) teknolojilerinin hızlı gelişimi, insan–makine etkileşiminde köklü değişiklikler yaratmıştır. Bu dönüşümün en dikkat…
Microsoft Word kullanırken zaman zaman boş veya istemediğimiz bir sayfa oluşabilir. Özellikle belge düzenlerken, çıktı…
Windows 12, Microsoft tarafından resmi olarak duyurulmamış olmasına rağmen teknoloji dünyasının en çok merak ettiği…
Windows 11 Home mu yoksa Windows 11 Pro mu tercih etmeli? Her iki sürüm de…
VMware, sanallaştırma alanında en yaygın kullanılan platformlardan biridir. Bir VMware sanal makinesi (VM), gerçekte birden…