fișier robots.txt este în directorul rădăcină al unui site.
Acest fișier este aproape o necesitate pentru orice site, deoarece acesta poate fi folosit pentru a influența indexarea documentelor web. Pur și simplu pune, acesta poate fi folosit pentru a spune motoarelor de căutare, astfel încât acestea nu au adus în paginile lor de index web nedorite, cum ar fi rezultatele căutării pe site-ul, documente oficiale, etc.
Este ușor să se uite la orice site (dacă există unul. El este cu siguranta pe resursa web mai puțin grave).
Formatul de fișier este după cum urmează:
Înregistrarea începe cu unul sau mai mulți User-agent, care definește un anumit robot al unui motor de căutare. Apoi, urmați instrucțiunile Allow (permit) sau Interdicție (ban). rezoluție posibilă și Directiva Interdicție fără o bară oblică. Fiecare intrare este scris pe o linie separată. Un asterisc (*) înseamnă orice robot.
Robots.txt Exemplu de fișier
User-agent: WebCrawler <- робот webcrawler
User-agent: Googlebot <- робот Googlebot
Permite: /tmp/ok.html <- разрешить смотреть папку /tmp/ok.html
Disallow: / sortimentului <- запретить смотреть папку /assort
Disallow: / utilizator / FID <- запретить смотреть папку /user/fid
Câteva exemple: