Robots.txt Dosyası Nedir?

Robots.txt Dosyası Nedir?

Arama motorlarının robotlarının, web sitelerini tararken nasıl davranacağı konusunda bir yol gösterici olan Robots.txt düz bir metin dosyasıdır.

Dünyanın En Hızlı tarayıcısı Çıktı

Robots.txt Dosyası Ne İşe Yarar?

Robots.txt, arama motoru yazılımlarına web sitesinin hangi bölümlerini dizine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu ya da olmadığını söylemeye yarayan bir komut dosyası olarak karşımıza  çıkıyor. Arama motoru yazılımları, web sitesine geldiğinde ilk olarak bu dosyayı tarıyor ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekliyor.

Robots.txt dosyası, sitenin sınır kapılarını kontrol ediyor bir bakıma. Arama motoru robotlarının girebileceği ya da giremeyeceği sınır kapılarını, giriş izni olan arama motoru robotlarının belirlenmesini sağlıyor. Robots.txt dosyası ve içerdiği komutların hazırlanması doğru bir şekilde yapıldıysa, arama motoru robotları bu kurallara uyar ve web sitesini verilen komutlar doğrultusunda tarar.

Robots.txt Dosyasının Hazırlanması

Robots.txt dosyası, her web sitesinde bulunması gereken ve doğru şekilde hazırlanmış olması gereken bir dosyadır. Dosya, belli standartlara göre hazırlanmalı ve web sitesinin kök dizinine yüklenmelidir. Dosyayı hazırlarken dikkat edilmesi gereken en önemli üç husus şu şekilde sıralanıyor;

– Robots.txt dosyasının web sitesinin kök dizininde bulunuyor olması gerekiyor.

– Robots.txt dosyasının UTF-8 karakter kodlamasına uygun şekilde hazırlanmış olması gerekiyor.

– Robots.txt dosyasının web site URL’siyle aynı formatta olması gerekiyor.