fișier roboți - un fișier obișnuit cu txt extensia, care este creat folosind Notepad. În cazul în care este robots.txt. Acesta este situat în directorul rădăcină al unui site. și oferă instrucțiuni cu privire la indexare pentru motoarele de căutare. Instrucțiunile pot fi roboți generale sau specifice. [Type = Box »umbra»] [starlist]
Regulile de bază pentru crearea și încărcarea unui fișier robots.txt:
- nu se confunda numele, care se numește fișier robots.txt, nu robot.txt și așa mai departe.
- Numele fișierului robots.txt trebuie să fie întotdeauna scrise cu litere mici, adică, robots.txt, și nu robots.txt și robots.txt și altele.
- plasați fișierul robots.txt trebuie să fie exact în directorul rădăcină al unui site, mai degrabă decât în orice alt loc. în caz contrar, motoarele de căutare nu vor vedea. [/ Lista de verificare]
Cel mai important lucru pentru a face roboți dreapta txt. Erori în conținutul acestui fișier poate duce la faptul că un site sau directoarele sale individuale sau fișiere nu vor fi indexate.
Aici este un exemplu de fișier txt roboți:
User-agent: *
Disallow: / butoane /
Disallow: / imagine /
Al doilea și al treilea rând de indexare interzice butoanele de directoare și imagini. Vă rugăm să rețineți că fiecare interzis să indexeze directorul este înregistrat într-o linie separată. În nici un caz nu le combinăm într-o singură linie. De asemenea, nu se poate transfera linie într-o singură declarație.
Gazdă a scrie corect directiva trebuie să fie atât:
User-agent: Yandex
Disallow: / butoane /
Realizator: netearn.ru
Acum, exemple concrete de scriere fișier robots.txt pentru o varietate de sarcini.
1. Cum se dezactivează indexarea site-ului de către toate motoarele de căutare.
2. Nu interzice întregul site pentru indexarea de către toate motoarele de căutare.
3. Împiedicați indexarea site-ul dvs. un robot de căutare (de exemplu, SeoBot).
User-agent: SeoBot
Disallow: /
4. Nu interzice întregul site pentru robot de indexare (de exemplu, SeoBot) și blochează toate celelalte crawler de indexare.
User-agent: SeoBot
Disallow:
5. Dezactivați mai multe directoare pentru indexarea de către toate motoarele de căutare.
User-agent: *
Disallow: / images /
Disallow: / butoane /
Disallow: / _ teme /
6. Dezactivați mai multe fișiere pentru indexarea de către toate motoarele de căutare.
User-agent: *
Disallow: / Piața Black.gif
Disallow: /banners-page-small.htm
Regulile de bază în pregătirea fișierului robots.txt
1. Scrieți conținutul fișierului este necesară numai în litere mici.
2. În fiecare Interdicție instrucțiune specifica doar un singur director sau
un fișier.
3. Nu schimbați manual de agent utilizator Disallow.
4. Un agent u ser string trebuie umplut. În cazul în care declarația se aplică tuturor păianjeni motor de căutare, apoi a scrie un asterisc, și în cazul în care un anumit robot de căutare, apoi scrie numele lui.
6. Nu este nevoie de a utiliza metacaractere în instrucțiunile Disallow sub formă de asteriscuri și alte simboluri.
8. Este imposibil de ratat instrucțiuni Disallow. Dacă nu se va interzice nimic indexată, lăsați această declarație este gol.
9. Dacă dezactivați indexarea pentru roboți txt directivă. asigurați-vă că pentru a lista slash.
10. Cea mai importantă regulă - înainte de a turna fișierul robots.txt pe serverul site-ul trebuie să fie de o sută de ori sa verificați de două ori, pentru a evita neînțelegerile ulterioare.
