Robots.txt Nedir?

SEO| Gösterim: 1378

Robots.txt Nedir?

Robots.txt, arama motoru botlarının sitenizi ziyaret ettiği zaman, bu botların hangi dosyalara erişebileceği ve indexleyeceği konusunda yönlendirilmesi için oluşturulan bir dosyadır.

Arama motoru botları sitenizi ziyaret ettiğinde ilk olarak robots.txt dosyasını tarayacağı için tüm websitelerde mutlaka oluşturulması gereken bir dosyadır.

Robots.txt dosyası sitenizin ana dizininde bulunmalı ve ismini değiştirmemelisiniz.

Robots.txt Nasıl Oluşturulur?

Yeni bir metin belgesi oluşturarak adını Robots.txt yaparak başlayabilirsiniz.

Metin belgesine yazılacak komutlar aşağıdaki örneklerdeki gibi kullanabilmektedir.

  • Tüm arama motorları tarafından tüm sayfalarınızın indexlenmesini istiyorsanız;
    User-agent : *
    Allow: /
  • Hiçbir arama motorunun sitenizi indexlemesini istemiyorsanız;
    User-agent: *
    Disallow: /
  • Hiçbir arama motorunun sitenizi indexlemesini istemiyorsanız;
    User-agent: *
    Disallow: /
  • Hiçbir arama motoru tarafından belirtilen dosyanın indexlenmesini istemiyorsanız;
    User-agent: *
    Disallow: /test/index.html
  • Tüm arama motorları tarafından belirli dosyaların taranmasını engellemek istiyorsanız;
    User-agent: *
    Disallow: /admin/
    Disallow: /images/
    Disallow: /private/
  • Arama motorlarının sadece test dizinindeki index.html’i taramasını, bu dizindeki diğer dosyaları indexlenmemesini istiyorsanız;
    User-agent: *
    Allow: /test/index.html
    Disallow: /test/
  • Bir cevap yazın

    E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir