Robots.txt nedir nasıl oluşturulur

Robots.txt , arama motorları sitenizi tararken nasıl davranması gerektiğini düzenleyebileceğiniz, sitenizde erişmesini istemediğiniz yerleri gösterdiğiniz, sitenin kök dizinine atılan bir metin metin dosyasıdır. Robots,txt , küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı‘nı kullanır.

Daha basit bir ifade ile anlatmak gerekirse, arama motoru botları’nı yönlendirebileceğiniz, belirli dosyaların listelenmesini engellemenize yarayan bir yönlendiricidir. Robots.txt dosyaları sitemizin ana dizininde bulunmalıdır. Farklı bir dizine eklendiği taktirde çalışmayacaktır. Dosyayı ana dizine eklediğiniz zaman ozengen.com/robots.txt şeklinde görünmesi gerekmektedir. Yazının devamında WordPress sistemler için en uygun robots.txt dosyasını bulabilirsiniz.

Robots.txt neden önemlidir ?

Sitemizin arama motorları tarafından doğru şekilde indexlenmesi çok önemlidir. Bunun yanında site içeriğimizn doğru şekilde listelenmesi daha da önemlidir. Çok fazla içeriğin arama motorunda görünmesi bir başarı değildir. Önemli olan faydalı ve kullanıcıların ilgisini çeken içeriklerin arama sonuçlarında görünüyor olmasıdır. Hazır sistemlerde eğer özel bir yapılandırma yapılmadıysa, sistem, indexlenecek ve indexlenmeyecek dosyaları belirler. Fakat birçok sistem için bu ayarın manuel olarak yapılandırılması gerekmektedir.

Robots.txt nasıl kullanılır ?

Googlebot’un ve diğer web tarayıcılarının robots.txt dosyanızı bulup tanıyabilmesi için kaydetmeye ilişkin aşağıdaki esasları uygulamanız gerekir:

• robots.txt dosyanızı metin dosyası olarak kaydetmelisiniz,
• Dosyayı sitenizin en üst dizinine (ya da alan adınızın kök dizinine) koymanız gerekir ve robots.txt dosyasının robots.txt olarak adlandırılmış olması gerekir.

Örnek olarak, http://www.example.com/robots.txt URL adresinde example.com kök dizinine kaydedilen bir robots.txt dosyası, web tarayıcıları tarafından bulunabilir, ancak http://www.example.com/not_root/robots.txt adresindeki bir robots.txt dosyası web tarayıcıları tarafından bulunamaz.

User-agent Komutu: Hangi arama motorları tarafından sitenizin listelenmesini ayarlayabileceğiniz komuttur. Örneğin Yandex tarafından sitenizin indexlenmesini istemiyorsanız aşağıdaki gibi kullanabilirsiniz.

user-agent: *(yandex.com)

Disallow Komutu: Sitenizde indekslenmesini istemediğiniz dosyaları belirleyebileceğiniz komuttur. Örneğin; sitenizde bulunan resimler klasörünü arama motorlarından gizlemek istiyorsanız:

Disallow: /resimler/ komutunu kullanarak bu işlemi yapabilirsiniz.

WordPress sistemlerde kullanabileceğiniz örnek Robots.txt dosyası:

WordPress siteler için en çok kullanılan dizilim aşağıdaki gibidir. Özel bir ayarınız yoksa bu dosyayı kullanabilirsiniz.

User-agent: *
Disallow: 
Disallow: /cgi-bin/
Disallow: /wp-admin/
Sitemap: https://www.siteadi.com/sitemap.xml