Robots.txt oluşturma aracı ile web sitenin google, yahoo ve bing gibi arama motorları tarafından ziyaret edildiğinde hangi klasörlerin indexlenmesini istediğini belirleyebilirsin.
Robots.txt bir web sitesinin ana dizininde yeralan ve adı değişmeyen basit ama etkili txt dosyasıdır. Bu dosya sayesinde arama motorları web sitenizdeki hangi klasörleri indexlemesi gerektiğini anlar. Eğer web sitenizde robots.txt dosyası bulunmuyorsa, arama motorları web sitenizde yeralan tüm dosyaları indexlemeye çalışacaktır. Örneğin web sitelerinin admin bölümleri gizli tutulmak istendiğinden bu gibi klasörlerin indexlenmemesi gerekir.
