roboții motoarelor de căutare la intrarea site-ului primul lucru de cotitură într-un fișier robots.txt, pentru a primi instrucțiuni pentru acțiuni suplimentare și de a afla ce fișiere și directoare sunt interzise la indexare. Prin urmare, este necesar să se cunoască webmaster, cum să scrie fișierul, deoarece greșelile poate duce la consecințe foarte nefericite. Repet și clarifica faptul că nimic nu permite robots.txt pentru indexarea fișierului, ci doar interzice. Și încă o nuanță. Nu este în întregime indicație pentru motoarele de căutare. Mai degrabă, putem spune că acesta este un document de referință.
fișier robots.txt - un fișier obișnuit cu txt extensia, care este creat folosind Notepad și include în directorul rădăcină al unui anumit site și care conține instrucțiuni pentru roboți de căutare de indexare. Instrucțiunile pot fi la fel de general, precum și roboți individuali specifici.
Regulile de bază pentru crearea și încărcarea unui fișier robots.txt:
- nu se confunda numele, care se numește fișier robots.txt, nu robot.txt și așa mai departe.
- scrie un nume de fișier robots.txt întotdeauna în litere mici, și anume, robots.txt, și nu robots.txt și robots.txt și așa mai departe.
- plasați fișierul robots.txt este în directorul rădăcină al unui site, mai degrabă decât în orice alt loc.
User-agent: *
Disallow: / adminka /
Disallow: / imagine /
User-agent: Yandex
Disallow: / adminka /
Realizator: www.site.ru
Acum, exemple concrete de scriere fișier robots.txt pentru o varietate de sarcini.
1. Dezactivați întregul site pentru indexarea de către toate motoarele de căutare.
2. Nu interzice întregul site pentru indexarea de către toate motoarele de căutare.
3. Interzice tot site-ul care urmează să fie indexat de robot de căutare (de exemplu, SeoBot).
4. Nu interzice întregul site pentru indexare robot (de exemplu, SeoBot) și blochează toate celelalte crawler de indexare.
5. Dezactivați mai multe directoare pentru indexarea de către toate motoarele de căutare.
User-agent: *
Disallow: / directoria-1 /
Disallow: / directoria-1 /
Disallow: / hidedirectoria /
6. Dezactivați mai multe fișiere pentru indexarea de către toate motoarele de căutare.
User-agent: *
Disallow: /hide.php
Disallow: /secret.html
Ce greșeli trebuie evitate în scris conținutul fișierului robots.txt?
Aici sunt regulile de bază pentru scrierea conținutul fișierului robots.txt: