Sitenizin Google, Yandex, Yahoo, Duckduckgo gibi arama motorları tarafından listelenmesini- indexlenmesini istemiyorsanız, robots.txt dosyasını düzenleyerek bu işlemi yapabilirsiniz. Peki nedir bu Robots dosyası ne işe yarar ?
robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı’nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.
Sitenizin tüm sayfalarını Google aramalarından gizlemek istiyorsanız robots dosyanızı aşağıdaki gibi düzenleyebilirsiniz.
User-agent: Googlebot
Disallow: /seo
Aram motorlarının belirli dosyaları indexlemesini engellemek istiyorsanız aşağıdaki kodu kullanabilirsiniz. Örneğin jpg uzantılı resimlerin listelenmesini engellemek için aşağıdaki kodu kullanabilirsiniz.
User-agent: Googlebot
Disallow: /*.jpg$
Sitenizin farklı sitelerde yayınlanan içeriklerini engellemek için aşağıdaki kodu kullanabilirsiniz. Örneğin: Benzer domain adresi gibi yayın yapan fakat içeriğinin sizinle bağlantısı olmayan birçok site için bu işlemi kullanabilirsiniz.
User-agent: Googlebot
Disallow: /*?
Kaynağını bilmediğiniz sitelerin arama motorları tarafından listelenmesini engellemek için aşağıdaki işlemi yapabilrisiniz. siteadi.com/search/web adresini engellemek için aşağıdaki kodu kullanabilirsiniz.
User-agent: Googlebot
Disallow: /siteadi.com/search/web
Bunun haricinde index almasını engellemek istediğiniz tüm sayfaların <head> kodları arasına;
<meta name=”robots” content=”noindex, nofollow” /> Kodunu yapıştırarak bu sayfaların arama motorları tarafından index almasını tamamen kapatabilirsiniz.
Sitenizde bu işlemleri yaptıktan sonra, sayfalarınızın kaldırılması yaklaşık 1 hafta 10 gün arasında süre alacaktır. Eğer listelenmiş sayfalarınızın sayısı çok fazlaysa bu işlem daha da uzayabilir. İşlem için en mantıklı yöntem, sitenizi oluştururken en sonda kodlarını paylaştığımız nofollow komutlarını kullanmak olacaktır. Bunun haricindeki sorularınız için bizlere yorumlarınızı gönderebilirsiniz.
As we progress deeper into the digital age, the spheres of technology and finance continue…
Tarayıcınızda gizli mod'da çalıştırmayı devre dışı bırakabilirsiniz. Windows ve macOS için Google Chrome'da, Windows için…
Broadcom, VMware'in ESXi hipervizörünün ücretsiz sürümünü durdurdu. Değişiklik haberi, aracın VMware.com'dan kaldırıldığını ortaya koyan ve…
Kaybolan airpod'unuzu bulmak için aşağıdaki 3 yöntemi kullanabilirsiniz. AirPod'larınızın kaybolması durumunda yerini bulmanıza yardımcı olması…
Vmware ve Broadcom Sanallaştırma öncüsü Vmware, Broadcom tarafından satın alınmasının ardından bazı değişiklikler geçiriyor. Kurumsal…
Google Fotoğraflar, yani One aboneliğinizi iptal etmek mi istiyorsunuz ? Bildiğiniz gibi Google 15 GB…