Robots.txt Nedir?
Robots.txt, arama motoru botlarının sitenizi ziyaret ettiği zaman, bu botların hangi dosyalara erişebileceği ve indexleyeceği konusunda yönlendirilmesi için oluşturulan bir dosyadır.
Arama motoru botları sitenizi ziyaret ettiğinde ilk olarak robots.txt dosyasını tarayacağı için tüm websitelerde mutlaka oluşturulması gereken bir dosyadır.
Robots.txt dosyası sitenizin ana dizininde bulunmalı ve ismini değiştirmemelisiniz.
Robots.txt Nasıl Oluşturulur?
Yeni bir metin belgesi oluşturarak adını Robots.txt yaparak başlayabilirsiniz.
Metin belgesine yazılacak komutlar aşağıdaki örneklerdeki gibi kullanabilmektedir.
User-agent : *
Allow: /
User-agent: *
Disallow: /
User-agent: *
Disallow: /
User-agent: *
Disallow: /test/index.html
User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /private/
User-agent: *
Allow: /test/index.html
Disallow: /test/