robots.txt - este un fișier text care este plasat pe site-ul și este destinat pentru roboții motoarelor de căutare. În acest fișier, puteți specifica parametrii de indexare a site-ului dvs. pentru roboții motoarelor de căutare dintr-o dată sau pentru fiecare motor de căutare sistem separat.
Toate păianjeni motor de căutare atunci când se apropie de site-ul în primul rând în căutarea unui fișier robots.txt.
Cum de a crea?
Că închiderea indexării?
Reguli de umplere fișier robots.txt
Deci, în fișierul robots.txt, fiecare comanda sau directivă ar trebui să fie prescrise separat. Numărul de echipe nu este limitat.
În primul rând, în cazul în care pentru a începe completarea dosarului - pentru a specifica, pentru ceea ce robotul va fi echipa pentru a scrie acest lucru în prima linie:
în cazul în care instrucțiunile dumneavoastră sunt pentru Yandex roboți:
Google pentru roboți:
pentru toți roboții, fără excepție:
Disallow comanda interzice roboții să indexeze un anumit fișier sau un folder.
interzice fișierele index în acest dosar:
interzice indexarea acest fișier:
interzicerea indexarea tot site-ul:
Verificați site-ul dvs. - aceasta este una dintre site-ul comune cauze neindeksirovaniya.
Important! indică Incorect mai multe directive într-o singură linie:
Disallow: / cgi-bin / / celulă / / bot /
Se lasă directivă contrar - elimină interdicția privind indexarea anumitor fișiere. Un exemplu de utilizarea acestuia:
User-agent: Yandex
Allow: / cgi-binDisallow: /
Această intrare în descărcarea de fișiere pentru a robotului Yandex interzice toate, dar paginile care încep cu „/ cgi-bin“.
Important! În cazul în care directiva, dar nu specifică parametrii pentru aceasta, valoarea va fi în conformitate cu:
interzicerea pe indexarea site-ului dvs. acolo:
întregul site este interzis pentru indexare:
Dacă aveți o hartă a site-sitemaps.xml format, specificați calea către aceasta într-o directivă specială Harta site-ului (în cazul în care mai multe fișiere, selectați toate):
Acest cont este folosit de roboți Yandex. Identificarea și introduceți primar oglinda directivă gazdă a site-ului:
Directiva gazdă nu garantează selectarea reflector principal menționat, dar permite Yandex cu prioritate ridicată.
EXEMPLUL robots.txt umplere
Verificarea fișierului robots.txt
Pentru a verifica fișierul rezultat se poate folosi Yandex.Webmaster.