Robots.txt Nedir?

Robots.txt dosyası, bir internet sitesinin web sunucularına eklenen ve sitenin kök dizininde kendine yer bulan basit bir metin dosyasıdır. Robots.txt dosyasının temel amacı, arama motorlarına ait tarayıcıların veya botların, web sitenizde erişmesini istediğiniz veya istemediğiniz yerleri görmelerini sağlamaktır. Dolayısıyla Robots.txt dosyasında yer alan komutları kullanarak arama motorları tarayıcılarının web sitenizde nereleri taraması gerektiğini ayarlayabilirsiniz. Bir başka deyişle, Robots.txt dosyası, arama motorlarına ait robotlar ile bir çeşit iletişim kurma aracı olarak tanımlanabilmektedir.

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyası oluşturma sayesinde bir web sitesindeki indekslenmesi gereken ve gerekli olmayan noktaları ayrıt etmek mümkündür. Robots.txt dosyasının metni içine yazılacak komutların hangi amaca göre hazırlandığı büyük önem taşımaktadır. Öte yandan Robots.txt dosyası oluştururken bir yazılım veya program bilgisine sahip olmanıza gerek yoktur. Fakat SEO yani arama motoru optimizasyonu çalışmalarında Robots.txt dosyasının hedef yönelik oluşturulması çok önemli olduğu için bu süreçte deneyimli uzmanlardan destek alınmasında fayda vardır.

Doğru komutlar yazıldığı takdirde harikalar yaratan Robots.txt dosyası, hatalı kullanıldığı takdirde kötü sonuçlar doğurabilmektedir. Robot Engelleme Protokolü’nün bir parçası olarak Robots.txt dosyasının web sitesinin sınırlarını denetleme işlerinde kullanılması gerekir. Arama motoru robotlarının hangi sınır kapılarından girebileceğini hangilerinden giremeyeceğini belirlemeyi sağlayan komutlar Robots.txt dosyasında yer almaktadır.

Robots.txt Dosyası Hazırlarken Dikkat Edilmesi Gerekenler

Robots.txt dosyası hazırlığında dikkat edilmesi gereken hususlar bulunmaktadır. Robots.txt dosyası, her web sitesinde mutlaka bulunması gereken bir dosyadır ve doğru şekilde hazırlanmalıdır. Eğer doğru komutlar kullanmadan Robots.txt dosyası hazırlarsanız, bu durumda web siteniz arama motorları tarafından dikkate alınmayacaktır ve taranmasını istemediğiniz dizinler de taranabilir. Robots.txt dosyası belirli standartlara uygun olacak şekilde hazırlanmalıdır. Sitenin kök dizinine yüklenmesi gereken Robots.txt dosyası hazırlığında önemli noktalardan bazıları şunlardır:

• txt dosyasının web sitesinin kök dizininde bulunuyor olması,
• txt dosyasının UTF-8 karakter kodlamasına uygun şekilde hazırlanması,
• txt dosyasının URL’si ile aynı formata sahip olması

Arama motoru optimizasyonu (SEO) çalışmalarında maksimum verim alınabilmesi için Robots.txt dosyasının web sitesine sağladığı avantajları kullanmak gerekir. Robots.txt dosyası SEO açısından tekrarlanan içerikleri engellemede en etkili araçlardan birini oluşturur. Dosya ekinin sıralamasını engelleyen Robots.txt yine bazı sub domain veya subfolder gibi bölümlerde gizleme yapabilme konusunda önemli faydalara sahiptir.

Robots.txt Grup Komutları

Robots.txt dosyasındaki grup komutları, belirli işlemleri gerçekleştirmek için standartlaşmış komutlardan oluşmaktadır. Grup komutları şunlardır:

• Arama motoru robotu engelleme – izin verme
• Dizin engelleme – izin verme
• Sayfa engelleme – izin verme
• Tarama gecikmesi belirtme

Robots.txt dosyasında grup komutları kesin ifadelerden oluşmalıdır. Yazım hatası yapılan komutlar, botlar tarafından dikkate alınmayacağı için Robots.txt dosyası hazırlarken yazım hatası yapılmamalı ve var olmayan sayfalarla ilgili komutlar yazılmamalıdır.