Procesul de indexare orice complex site-ul și multe resurse. Pe multe site-uri, mai ales în cazul în care acestea sunt realizate printr-o varietate de motoare de c, este de multe ori prezintă informații care nu sunt indexate în mod necesar.
În plus față de reducerea sarcinii pe server, interzicerea anumitor directoare de indexare, pentru a evita eventualele suprapuneri multiple de informații, care nu este ca toate motoarele de căutare.
De ce ai nevoie de un robots.txt?
Cum de a face și sintaxa robots.txt
Există două reguli generale de sintaxă și orientări, precum și unele comenzi unice ușor de înțeles pentru roboți, numai anumite motoare de căutare. Directiva în fișierul robots.txt este după cum urmează:
Deci, de exemplu, codul
User-agent: Yandex
De crawl-întârziere: 100
Specifică Crawler Yandex perioadă minimă de timp (în secunde) între capătul de injectare a unei pagini și începutul următoarea injecție. Pe portalurile mari vă permite să eliminați sarcina suplimentară pe server.
În cele mai importante motoare de căutare, există, de asemenea, unele bot de imagini index, știri, blog-uri, care permite ajustarea mai precisă.
Disallow parametrii de comandă sunt specificate în formă de mască, și, pentru o mai bună înțelegere, să ne uităm la câteva exemple simple:
O altă orientare generală pentru toate motoarele de căutare este harta site-ului. Specifică calea în care harta site-ului în format .xml. exemplu:
Ca echipe speciale a da un exemplu de directivă gazdă, care permite setarea site-ul oglinzii principale pentru Yandex. De fapt, strict vorbind, Directiva gazdă se utilizează și alte motoare de căutare, și este teoretic posibil să se scrie în secțiunea principală, și acele bărci, care nu este clar, ar trebui să fie pur și simplu ignorate.
User-agent: Yandex
Disallow:
Realizator: www.vash_site.ru
După cum puteți vedea, o condiție necesară, prezența a cel puțin o directivă Interdicție este executat. Mai multe informații despre numele tuturor roboții, lista de orientări și recomandări unice pentru proiectarea de robots.txt puteți prin conectarea la panoul de Webmaster corespunzător motorul de căutare. De exemplu, același Yandex recomandă limite să se conducă separat (User-Agent: Yandex). Prin urmare, puteți găsi de multe ori o restricție duplicarea robots.txt (în primul rând pentru User-Agent :. * Și apoi User-Agent: Yandex).
Exemplele robots.txt optime
User-agent: *
Disallow: / administrator /
Disallow: / cache /
Disallow: / include /
Disallow: / instalare /
Disallow: / limba /
Disallow: / biblioteci /
Disallow: / media /
Disallow: / module /
Disallow: / plugins /
Disallow: / template-uri /
Disallow: / tmp /
Disallow: / XMLRPC /
Pentru varianta optimă Wordpress este următoarea:
User-agent: *
Disallow: / cgi-bin
Disallow: / wp-admin
Disallow: / wp-include
Disallow: plugins / wp-content /
Disallow: / wp-content / cache
Disallow: teme / wp-content /
Disallow: / trackback
Disallow: * / trackback
Disallow: * / * / trackback
Disallow: * / * / hrana pentru animale / * /
Disallow: * / hrana pentru animale
Disallow: / * *?
În mod similar, ca și în primul exemplu pot fi adăugate separat pentru Yandex directivele.
Testați robots.txt funcționează la orice webmaster panou și a vedea dacă este permisă indexează pagini individuale.
meta tag-ul Roboți
Există o modalitate de a spune motoarelor de căutare roboți dacă este posibil să se indice acelei pagini sau nu. Pentru a face acest lucru, în interiorul tag-ul „cap“ al paginii dorite, înregistrează meta-tag „Roboți“, dar acest lucru trebuie făcut pentru toate paginile pe care doriți să aplicați o anumită regulă de indexare. Aplicație Exemplu metatag: